中文文本聚類中特征選擇算法的研究.pdf

1、近年來，我們可以很容易地從Internet、數(shù)字圖書館、新聞機構(gòu)和公司內(nèi)部網(wǎng)上獲得數(shù)目驚人的文本文檔。于是，人們對發(fā)展能夠幫助用戶有效地導(dǎo)航、總結(jié)和組織這些文本信息技術(shù)的興趣越來越強?？焖俸透哔|(zhì)量的文本聚類技術(shù)在實現(xiàn)這個目標過程中扮演了重要的角色。通過將大量信息組織成少數(shù)有意義的簇，這種技術(shù)能夠提供導(dǎo)航/瀏覽機制，或者，通過聚類驅(qū)動的降維或權(quán)值調(diào)整來極大地改善檢索性能。因此，文本聚類研究成為當前國際上信息處理的一個重要課題，國內(nèi)中文文本

2、聚類的研究正處于初期，還存在許多問題亟待解決。
　　 本文對中文文本聚類中特征選擇算法進行了研究，具體工作如下：首先，我們對于現(xiàn)有的詞語權(quán)值計算方法做了一定的改進，不僅考慮了文本中的詞語概率信息，還結(jié)合文本語義等多方面信息，提出了一種基于多重因子加權(quán)的詞語權(quán)值計算方法。實驗證明這種方法能夠很好的提高文本聚類的正確率。然后，總結(jié)了現(xiàn)有特征項選擇方法的不足，從而提出了一種單詞貢獻度(TD)的特征選擇方法。試驗證明，這種特征選擇方法能