基于VSM模型和特征選擇算法的中文文本自動分類研究.pdf

1、文本分類(TextCategorization)是指根據文本的內容,計算機按照某種自動分類算法,把文本判分為預先定義好的類別。文本分類在信息檢索,信息過濾,基于個性化的信息服務等方面有著重要用途。隨著數(shù)字化文檔信息總量的快速增長,大規(guī)模文本處理已經成為一個挑戰(zhàn)。實現(xiàn)文本自動分類的基本困難之一是特征項空間的維數(shù)過高,數(shù)量過大的特征項一方面導致分類算法的代價過高,另一方面導致無法準確地提取文檔的類別信息,造成分類效果不佳。因此,需要在不犧牲

2、分類質量的前提下盡可能地降低特征項空間的維數(shù)。
　　 本文研究如何利用向量空間模型(VSM)和特征選擇技術來有效對文本特征向量空間進行降維,減少維數(shù)過高對分類結果召回率和準確率的影響。本文針對特征選擇算法中tf-idf無法反映詞匯的重要程度和特征詞的分布情況和互信息沒有考慮特征項出現(xiàn)在文本中的次數(shù)提出改進方法,同時還引入測量學中的區(qū)分度方法來對文本進行特征選擇,然后通過SVM分類算法進行分析、統(tǒng)計、學習,最后得到一個自動的文本分

3、類系統(tǒng)。
　　 本文是在向量空問模型(VSM)的基礎上對中文文本自動分類進行研究,研究的主要內容和創(chuàng)新點如下:
　　 1.本文針對向量空間模型(VSM)中的tf-idf存在的不足提出了一種改進方法,傳統(tǒng)的tf-idf方法無法反映詞匯的重要程度和特征詞的分布情況,改進的tf-idf加入了類別中包含詞匯的文本數(shù)及詞匯出現(xiàn)在某一類文本中的次數(shù),改進后的tf-idf可以很明了地區(qū)分出特征項的重要程度;
　　 2.為了降維

4、特征向量空間,本文針對特征選擇方法中互信息方法提出了一種改進方法,改進后的互信息有效的解決了受特征詞條的邊緣分布的影響導致稀有詞的值偏大這個問題,從一定程度上解決了“過度擬合”問題;
　　 3.在降低特征向量空間維數(shù)方法上,本文引入了測量學上的區(qū)分度方法,一種特征選擇區(qū)分度方法-比例區(qū)分度(CPD)算法,CPD算法可以反映了詞出現(xiàn)在某個類和其他類中的文本數(shù),通過結合改進的tf-idf權重公式可以選取出更具有代表性的特征項,有利于

5、文本分類;
　　 4.本文設計了一個中文文本分類系統(tǒng),該系統(tǒng)由預處理、特征選擇、文本表示、文本分類及評價五個部分組成。預處理是對訓練集文本進行分詞,過濾停用詞、數(shù)字等;特征選擇部分采用了文檔頻率、互信息、卡方統(tǒng)計和改進的互信息、比例區(qū)分度幾種方法進行比較,并結合改進的tf-idf方法計算特征項在文本中的權重;分類部分則是利用SVM分類器進行分類。
　　 5.本文所有的實驗都是以中文文本分類語料庫-TanCorpv1.0為