基于流形學習的文本分類方法研究.pdf

1、　　文本分類在信息檢索、文本過濾、文檔組織等多個領域有著廣泛的應用。在文本分類中，通常用特征詞向量來表示文本數(shù)據(jù)，由于特征詞較多導致文本數(shù)據(jù)的維數(shù)過高，經(jīng)常達數(shù)千甚至數(shù)萬。利用現(xiàn)有的分類方法處理這些高維的文本數(shù)據(jù)時會產(chǎn)生維數(shù)災難的問題，不僅分類效率低，而且精度也不高。為此，將流形學習應用于文本分類中，利用流形學習算法對文本數(shù)據(jù)降維，獲取低維數(shù)據(jù)后將其用于分類。本文主要工作如下：
　　首先，提出了一種基于流形學習的文本分類方法。將

2、流形學習應用于文本分類中，通過流形學習對待分類的文本數(shù)據(jù)做降維處理，獲得的低維數(shù)據(jù)用于文本分類，低維數(shù)據(jù)的維數(shù)比原始文本數(shù)據(jù)要低得多，從而極大地提高了分類的效率。
　　其次，在流形學習算法中，當在高維空間中求解近鄰時，采用的歐氏距離存在失效性，不能真正地表示樣本之間的相似程度，造成經(jīng)流形學習算法降維后的文本數(shù)據(jù)分類精度降低。針對這一問題，提出了一種新的相似性度量措施——特征詞相交距離。特征詞相交距離表示的是樣本中特征詞相同的部分

3、，也就是樣本與樣本間互相交叉的程度，它可以較好地表示樣本間的相似程度。實驗結果表明，特征詞相交距離替換歐氏距離后的流形學習算法對文本數(shù)據(jù)降維后，所得到的低維數(shù)據(jù)用于分類時分類精度得到了極大地提高。
　　最后，將夾角余弦距離和特征詞相交距離相結合后形成新的距離代替歐氏距離。在實驗中，將夾角余弦距離、特征詞相交距離以及二者結合分別代替流形學習算法中的歐氏距離，利用距離替換后的流形學習算法對文本數(shù)據(jù)進行降維，并將降維后的低維數(shù)據(jù)用于分