中文文本分類方法的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)應(yīng)用的大規(guī)模普及衍生出大量的非結(jié)構(gòu)化文本數(shù)據(jù)，基于文本數(shù)據(jù)的自動分類系統(tǒng)在多個領(lǐng)域呈現(xiàn)出巨大的應(yīng)用價值，如搜索引擎、數(shù)字圖書館、郵件分類等?；?K近鄰的分類算法簡單直觀，易于理解，基于貝葉斯理論的樸素貝葉斯分類算法劃分類別準確率較好，在文本劃分類別中得到了較為廣泛的使用。
　　本文首先簡要介紹了文本分類的關(guān)鍵技術(shù)——文本分詞，文本分詞是將非結(jié)構(gòu)化文本轉(zhuǎn)化為可定量分析數(shù)據(jù)，包括機械分詞、統(tǒng)計分詞、語義分詞等方法。其次，將分詞

2、結(jié)果運用向量空間模型進行轉(zhuǎn)化，每個特征詞語的權(quán)重如何表示有多種形式，包括布爾權(quán)重、詞頻權(quán)重、詞頻反文檔頻權(quán)重等。鑒于文本挖掘中常見的高維稀疏性問題，深入研究了CHI統(tǒng)計和隨機森林Boruta算法特征選擇方法，實現(xiàn)對高維文本特征的降維；CHI統(tǒng)計方法針對單個特征對分類結(jié)果的影響進行卡方檢驗，檢測出與分類存在相關(guān)的特征；隨機森林Boruta算法特征選擇方法組合若干決策樹對分類結(jié)果進行投票，對于單個特征重要性評價采取OOB估計，OOB估計是平

3、均預(yù)測精度下降程度的無偏估計，并針對隨機森林評價特征重要性中存在的問題引入影子特征對特征重要性進行顯著性檢驗，得出真正對分類存在重要意義的特征。最終實現(xiàn)基于實例的K近鄰分類算法及基于模型的樸素貝葉斯分類算法，并對文本分類效果進行比較。
　　本文重點三個方面：第一，針對文本數(shù)據(jù)高維稀疏性使用隨機森林Boruta算法進行特征選擇，通過與CHI特征選擇方法的對比，證明了該特征選擇算法能夠大規(guī)模降低高維特征數(shù)據(jù)的維數(shù)，并提取出真正對文本分