文本分類中的特征降維方法研究.pdf

1、互聯(lián)網(wǎng)的普及和高速發(fā)展，使得網(wǎng)絡上的電子文檔迅速增加，但是給用戶帶來大量信息的同時，使得用戶查找、過濾和管理這些海量信息非常困難。因此，文本分類技術的研究引起了人們的持續(xù)關注。
　　 文本分類大致分為5個流程：文本預處理、特征降維、特征加權、分類器訓練和分類器性能評估。一個文本集在文本預處理中經(jīng)過分詞、去除停用詞后，得到了文本集的原始特征詞集合，之后進行特征降維，選出對文本類別區(qū)分能力較強的特征詞，繼而利用特征加權公式計算降維之

2、后各個特征詞的權重，根據(jù)向量空間模型(VSM)將文本表示成由一定數(shù)量特征詞構成的空間向量，然后進行分類器訓練得到分類器，最后利用相關的指標對分類器性能進行評估。
　　 其中，特征降維在文本分類過程中具有非常重要的作用，利用好的特征降維方法來降低向量空間的維數(shù)，不僅能提高分類器的速度，節(jié)省存儲空間，還能過濾掉一些無關屬性，從而減少無關信息對文本分類的干擾，提高文本分類的精度。根據(jù)產(chǎn)生新特征詞方式的不同，特征降維可分為特征選擇和特征

3、抽取。常用的特征選擇方法有：文檔頻率(DF)、互信息(MI)、信息增益(IG)、X2統(tǒng)計量(CHI)、文本證據(jù)權(WET)、優(yōu)勢率(OR)和多種方法的組合等。這些特征選擇方法的基本思想是使用某種評估函數(shù)對每個特征詞打分，然后把特征詞按照分值從高到低排序，取分值排前的一些特征詞組成降維后的特征集合。
　　 本文詳細分析了常用的特征選擇方法，發(fā)現(xiàn)這些方法要么沒有考慮詞頻，在一定程度上傾向于選擇稀有特征詞，要么沒有考慮特征詞與類別的關

4、系。針對這些方法的不足本文提出了一種新的特征選擇方法，該方法結合了文本類間集中度、文本類內(nèi)分散度和詞頻類間集中度來計算特征詞在每個類別的評估函數(shù)值，并利用其最大值與次大值之差作為特征詞的最終評價函數(shù)值。
　　 本實驗將文檔頻、互信息、信息增益和X2統(tǒng)計量與提出的方法進行比較，然后用查全率、查準率和F1值來評價分類的效果。新的特征選擇方法不僅考慮了詞頻、特征詞與類別的關系，而且計算復雜度更小，因此，特征降維效果更優(yōu)。同時由于MI和