中文文本分類方法的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)應(yīng)用的大規(guī)模普及衍生出大量的非結(jié)構(gòu)化文本數(shù)據(jù)，基于文本數(shù)據(jù)的自動(dòng)分類系統(tǒng)在多個(gè)領(lǐng)域呈現(xiàn)出巨大的應(yīng)用價(jià)值，如搜索引擎、數(shù)字圖書(shū)館、郵件分類等?；?K近鄰的分類算法簡(jiǎn)單直觀，易于理解，基于貝葉斯理論的樸素貝葉斯分類算法劃分類別準(zhǔn)確率較好，在文本劃分類別中得到了較為廣泛的使用。
　　本文首先簡(jiǎn)要介紹了文本分類的關(guān)鍵技術(shù)——文本分詞，文本分詞是將非結(jié)構(gòu)化文本轉(zhuǎn)化為可定量分析數(shù)據(jù)，包括機(jī)械分詞、統(tǒng)計(jì)分詞、語(yǔ)義分詞等方法。其次，將分詞

2、結(jié)果運(yùn)用向量空間模型進(jìn)行轉(zhuǎn)化，每個(gè)特征詞語(yǔ)的權(quán)重如何表示有多種形式，包括布爾權(quán)重、詞頻權(quán)重、詞頻反文檔頻權(quán)重等。鑒于文本挖掘中常見(jiàn)的高維稀疏性問(wèn)題，深入研究了CHI統(tǒng)計(jì)和隨機(jī)森林Boruta算法特征選擇方法，實(shí)現(xiàn)對(duì)高維文本特征的降維；CHI統(tǒng)計(jì)方法針對(duì)單個(gè)特征對(duì)分類結(jié)果的影響進(jìn)行卡方檢驗(yàn)，檢測(cè)出與分類存在相關(guān)的特征；隨機(jī)森林Boruta算法特征選擇方法組合若干決策樹(shù)對(duì)分類結(jié)果進(jìn)行投票，對(duì)于單個(gè)特征重要性評(píng)價(jià)采取OOB估計(jì)，OOB估計(jì)是平

3、均預(yù)測(cè)精度下降程度的無(wú)偏估計(jì)，并針對(duì)隨機(jī)森林評(píng)價(jià)特征重要性中存在的問(wèn)題引入影子特征對(duì)特征重要性進(jìn)行顯著性檢驗(yàn)，得出真正對(duì)分類存在重要意義的特征。最終實(shí)現(xiàn)基于實(shí)例的K近鄰分類算法及基于模型的樸素貝葉斯分類算法，并對(duì)文本分類效果進(jìn)行比較。
　　本文重點(diǎn)三個(gè)方面：第一，針對(duì)文本數(shù)據(jù)高維稀疏性使用隨機(jī)森林Boruta算法進(jìn)行特征選擇，通過(guò)與CHI特征選擇方法的對(duì)比，證明了該特征選擇算法能夠大規(guī)模降低高維特征數(shù)據(jù)的維數(shù)，并提取出真正對(duì)文本分