中文文本分類中特征選擇方法的應用與研究.pdf

1、文本分類技術(shù)可以用來幫助人們從海量的信息中獲取有用信息，它已經(jīng)得到了廣泛地研究和應用。文本分類就是將一些未知的文本與預先定義好的文本類別相互比較，如果這個未知的文本與已知文本類別中的一些類別互相對應時，那么這個未知文本就屬于所對應類別的文本。
　　 在文本分類中，影響分類效果的一個比較重要的因素是特征選擇。特征選擇就是在原始特征集中選出最有代表性的一些特征，它可以降低特征維數(shù)。在文本領域中，特征選擇的必要性在于它可以使分類任務更

2、加有效與準確。本文通過分析與比較，指出了傳統(tǒng)的卡方統(tǒng)計法的缺點。一方面它僅僅只關(guān)心特征詞在全部文本而不是一篇文本中所出現(xiàn)的次數(shù)，這就降低了最終分類的準確率：另一方面它只關(guān)心出現(xiàn)次數(shù)特別多的特征詞，如果在研究的類別中，特征詞出現(xiàn)比較少時，還選用這些特征詞的話，分類的效果就會不準確。
　　 為了解決卡方統(tǒng)計法本身的缺點，本文通過頻度思想對其進行了改進，并通過K一近鄰算法與支持向量機算法，對改進的方法進行了驗證。另外，本文還提出了一種

3、比較新的特征選擇方法．此方法在中文分類系統(tǒng)中還沒有得到廣泛地應用，可以作為今后研究的一個方向。最后本文構(gòu)造了一個中文文本分類系統(tǒng)，它的各個模塊之間是互不影響的，可以對其中的一個模塊進行修改，而不會影響其它模塊。
　　 本文采用的是復旦大學李榮陸所提供的開源文本分類系統(tǒng)，本實驗選用其中的K-近鄰分類器和支持向量機分類器對改進的卡方統(tǒng)計法進行測試。為了使實驗有更好的可比性，在實驗過程中，對改進前后的語料庫、選擇的分類器與選擇的各個參