中文文本分類中特征提取算法研究.pdf

1、隨著網(wǎng)絡(luò)和信息技術(shù)的飛速發(fā)展，人們可獲得的知識越來越多，但是面對具體的知識，要在這浩瀚的信息世界中快速獲得卻是很困難的。面對這一矛盾，人們想到了知識分類技術(shù)，這一技術(shù)的出現(xiàn)立即獲得了人們廣泛關(guān)注，同時知識分類中的文本分類也成為了研究的熱點。 文本特征提取算法是文本分類中研究比較多，比較重要的問題。本文通過分析傳統(tǒng)的TFIDF算法發(fā)現(xiàn)其存在如下缺點：1)沒有考慮特征詞在類間的分布，如果一個特征詞，在各個類間分布比較均勻，這樣的詞對

2、分類基本沒有貢獻；但是如果一個特征詞比較集中的分布在某個類中，而在其它類中幾乎不出現(xiàn)，這樣的詞卻能夠很好代表這個類的特征，然而傳統(tǒng)的TFIDF算法不能夠區(qū)分這兩種情況；2)沒有考慮特征詞在類內(nèi)部文檔中的分布情況。在類內(nèi)部的文檔中，如果特征詞均勻分布在其中，則這個特征詞能夠很好的代表這個類的特征，如果只在幾篇文檔中出現(xiàn)，而在此類的其它文檔中不出現(xiàn)，顯然這樣的特征詞不能夠代表這個類的特征。 針對傳統(tǒng)的TFIDF算法的缺陷，運用特

3、征詞在類間和類內(nèi)部的分布信息來改進傳統(tǒng)的TFIDF算法。方差是描述隨機變量分布情況的指標，本文用方差來描述特征詞在類間的分布情況。如果特征詞方差小，說明其在類間的分布比較均勻，這樣的特征詞對分類貢獻不大，可以用方差來降低該特征詞的權(quán)重；而特征詞在類內(nèi)部的分布情況也可以用方差來描述，與類間分布不同的是，特征詞在類內(nèi)部分布方差越小，即在類內(nèi)部分布越均勻，特征詞越能代表此類，因此在修正TFIDF公式時，應(yīng)該將其TFIDF值調(diào)大。

4、本文的另外一個工作是，將遺傳算法運用到特征提取中。本文拋棄了傳統(tǒng)特征提取方法為每個文檔進行特征提取的思想，而是為每個類進行特征提取。首先用常用的特征提取算法量化各個特征詞的權(quán)重，然后用遺傳算法來修正特征詞的權(quán)重，直到為每個類訓(xùn)練出能夠代表本類的特征向量(又叫分類器)，最后用這些類的特征向量進行分類。 為了驗證提出的改進TFIDF方法的正確性及其遺傳算法用于中文文本分類的效果，本文進行了兩個實驗：1)將傳統(tǒng)的和改進的算法提取的