基于語義的文本聚類搜索研究.pdf

1、文本聚類是數(shù)據(jù)挖掘領(lǐng)域中的一個重要分支，尤其在信息量迅速增長的當(dāng)今社會，文本聚類能夠在人們?nèi)粘５纳a(chǎn)生活中起到重要作用。國內(nèi)外圍繞著文本聚類這一課題進行了大量的研究，并有了些初步的成果，但是從目前的研究狀況來看，文本聚類仍有很多地方需要改進。本文通過對現(xiàn)有研究成果的介紹和對比分析，總結(jié)出文本聚類的兩個值得改進的關(guān)鍵點：一方面，聚類算法作為文本聚類的核心部分，能夠直接影響整個聚類過程的效率和聚類質(zhì)量，而目前并沒有特別適用于文本聚類領(lǐng)域的聚

2、類算法，大部分的算法也無法同時在算法復(fù)雜度和聚類質(zhì)量上有良好的表現(xiàn)；另一方面，大部分的方法未能充分考慮到語義因素對文本聚類的影響，或者在聚類過程中未能有效的融入語義因素，因而得到的聚類結(jié)果不夠理想。
　　 針對如何合理的平衡聚類算法的復(fù)雜度和聚類質(zhì)量這一問題，本文介紹和分析了幾個具有代表性的聚類算法在文本聚類領(lǐng)域中的優(yōu)勢和不足，并結(jié)合了基于劃分的聚類算法和基于密度的聚類算法各自的優(yōu)點，提出了基于密度的聚類算法DBCKNN。DBC

3、KNN算法利用了k近鄰和離群度等概念，能夠迅速確定數(shù)據(jù)集中每類的中心并自動調(diào)節(jié)類半徑，在保證了聚類效果的基礎(chǔ)上提高了聚類的效率。
　　 針對如何有效的將語義因素融入聚類過程這個問題，本文利用語義對VSM模型進行變換，即基于語義對VSM模型的各維進行扭曲，將原本的正交坐標(biāo)系基于語義變換為斜角坐標(biāo)系，然后將文本的特征向量映射到變換后的VSM模型上再進行聚類，相對減小語義相關(guān)的特征向量問的語義距離，從而提高了文本聚類的召回率與查準(zhǔn)率，