基于不均衡數(shù)據(jù)集的文本分類算法研究.pdf

1、隨著計算機網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，電子文檔逐漸成為人們獲取文本信息的主要渠道。網(wǎng)絡(luò)信息的多樣性和文檔的雜亂無章性對用戶快速準確獲取所需信息提出了巨大的挑戰(zhàn)。文本分類是信息檢索中對文檔進行組織和整理的重要技術(shù)，然而不同于文本分類系統(tǒng)在實驗室中處理的文本集合，在實際應(yīng)用中尤其是出現(xiàn)在網(wǎng)絡(luò)中的文本數(shù)據(jù)集合往往存在標注不全，數(shù)據(jù)集不平衡等問題。數(shù)據(jù)不均衡問題由于其在各領(lǐng)域應(yīng)用的廣泛性和重要性成為文本分類目前面臨的一個主要問題，同時也是文本挖掘領(lǐng)域的

2、研究熱點。
　　本文對不均衡數(shù)據(jù)集下的文本分類進行了一定的研究，從文本分類的特征選擇方法和對量化后的文本數(shù)據(jù)層上的重取樣兩個角度出發(fā)提出了一種組合的針對不均衡數(shù)據(jù)集的文本分類方法。本文的主要研究內(nèi)容如下：
　?、賹ξ谋痉诸愔械膫鹘y(tǒng) CHI統(tǒng)計特征選擇方法和對改進的僅保留類別正相關(guān)性特征的CHI統(tǒng)計特征選擇算法進行了研究，并在不均衡數(shù)據(jù)集上進行了實驗，實驗結(jié)果表明在均衡數(shù)據(jù)集上表現(xiàn)良好的CHI統(tǒng)計特征選擇方法所得到的分類效果并

3、不理想。
　?、谕ㄟ^對不均衡數(shù)據(jù)集的研究分析，提出了對僅保留類別正相關(guān)性特征的單邊CHI統(tǒng)計特征選擇方法進行改進，首先引入一個小類加權(quán)因子用于保留部分對小類分類有貢獻的表現(xiàn)為類別負相關(guān)性的特征詞項，同時使用ICF(逆轉(zhuǎn)類別頻)增強特征選擇過程中特征的類別區(qū)分能力，進而選擇出最具類別代表性的特征詞。使用特征集合將文檔進行量化表示為向量空間模型。
　?、蹫楦玫亟鉀Q由數(shù)據(jù)不均衡導致分類效果不佳的問題，本文提出對量化后的文本集合在