中文文本聚類的評價與改進研究.pdf

1、聚類作為一種知識發(fā)現的重要方法，它廣泛地與中文信息處理技術相結合，應用于網絡信息處理中以滿足用戶快捷地從互聯網獲得自己需要的信息資源。
　　 文本聚類是聚類問題在文本挖掘中的有效應用，它根據文本數據的不同特征，按照文本間的相似性，將其劃分為不同的文本簇。其目的是要使同一類別的文本間的相似度盡可能大，而不同類別的文本間的相似度盡可能的小。整個聚類過程無需指導，事先對數據結構未知，是一種典型的無監(jiān)督分類，因此，最終的聚類結果需要進行

2、有效性驗證和質量評價。
　　 由于文本是一個特殊的數據對象，目前研究中對文本聚類分析結果的評價機制不統(tǒng)一，尚無得到普遍認可的科學評價機制及與之相關的深入研究。在聚類改進方法中，絕大多數研究者投入到聚類算法研究，卻忽略了聚類結果帶來的信息。雖然經過眾多研究者努力，中文文本聚類研究取得了一定的進展，但仍然存在很多問題亟待解決，尤其在文本聚類評價及其改進方面。
　　 本文首先對文本聚類和文本分類技術進行了簡單的介紹，比較了各自

3、的優(yōu)缺點。再在研究文本聚類過程的基礎上，分析了可能影響聚類結果的各個因素，特別對文本表示模型、文本相似度計算方法和文本聚類算法選擇三方面因素進行了較詳細的論述。
　　 然后，通過回顧已有的文本聚類評價指標，本文分析了其應用特性和優(yōu)缺點，針對現有評價方法存在的問題，特別是基于人工標注的評價指標之應用局限性，論文提出了一種新的基于吻合度的文本聚類結果評價方法。該評價方法從聚類結果的穩(wěn)定性角度出發(fā)，通過比較前后聚類結果的吻合程度來判斷

4、聚類效果。同基于人工標注的評價方法相比，方法不僅有效避免了人工標注類別環(huán)節(jié)，而且能正確評價不同的文本聚類結果。實驗結果驗證了方法的有效性和應用性。
　　 受聚類評價過程的啟發(fā)，本文嘗試從聚類結果出發(fā)，結合分類算法對數據集重新分類，提出了一種基于迭代分類的聚類結果改進方法。該方法巧妙地結合了聚類和分類兩種獨立的開采方法，使其相得益彰，將聚類結果的優(yōu)化過渡到分類層面。通過引入迭代分類思想，使得最終聚類結果在單一聚類算法得到的初始結果