中文文本分類中互信息特征選擇方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)與網(wǎng)絡(luò)技術(shù)的不斷發(fā)展與大規(guī)模普及，人們可以獲得的信息越來(lái)越多，這些信息大部分是以文本的形式存在的。如何從這些海量繁雜的文本數(shù)據(jù)中獲得用戶需要的有用的信息逐漸成為了人們關(guān)注的重點(diǎn)。文本自動(dòng)分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，滿足了人們對(duì)于內(nèi)容搜索的查準(zhǔn)、查全等方面的要求，逐漸成為了人們獲取知識(shí)信息的有效手段。文本分類技術(shù)最大的難點(diǎn)和特點(diǎn)之一就是特征向量空間的高維性。特征選擇作為特征向量空間降維常用的方法，由于其計(jì)算復(fù)雜

2、度低而得到了廣泛的應(yīng)用。
　　 特征選擇方法的好壞會(huì)直接影響文本分類的效果。許多研究表明，互信息方法是一種比較好的特征選擇度量方法?；バ畔⒎椒梢员硎救我鈨蓚€(gè)隨機(jī)變量之間的統(tǒng)計(jì)相關(guān)性，并且具有空間轉(zhuǎn)換的不變性。在文本分類中，互信息特征選擇方法仍然存在以下問(wèn)題：(1)互信息方法只考慮了詞條在文本集合中出現(xiàn)的文檔頻率，而沒有考慮詞條在文本集合的各個(gè)類別中的每個(gè)文本里發(fā)生的頻度問(wèn)題。(2)互信息方法考慮的是詞條與類別之間的相關(guān)性，而沒

3、有考慮文本詞條之間的關(guān)聯(lián)性。(3)由互信息方法的特征評(píng)價(jià)公式可以看出，文本集合的各個(gè)類別中的文本數(shù)量對(duì)于詞條互信息值的計(jì)算也有一定的影響。部分研究學(xué)者針對(duì)互信息方法存在的問(wèn)題進(jìn)行了研究并提出了改進(jìn)方法。譚金波等[52]針對(duì)互信息方法沒有考慮詞條在文本中發(fā)生的頻度問(wèn)題，從局部選詞的角度進(jìn)行特征選擇，給互信息加上了表征詞條出現(xiàn)概率的函數(shù)，提升高頻詞的權(quán)重。秦進(jìn)等[43]針對(duì)文本集合的各個(gè)類別中的文本數(shù)量對(duì)詞條互信息值的影響，引入了類別文本量

4、占整個(gè)文本集的比例來(lái)進(jìn)行修正，排除了當(dāng)每個(gè)類別中的文本量不相等時(shí)對(duì)詞條互信息值的影響。
　　 針對(duì)互信息方法存在的不足，本文通過(guò)引入類內(nèi)特征頻度和類內(nèi)分散度兩個(gè)指標(biāo)，同時(shí)限定詞條在文本中出現(xiàn)的最小詞頻，引入MRMR模型中的最小特征冗余度量方法，提出了一種基于文本詞頻的互信息特征選擇度量方法。本文的另外一個(gè)工作就是，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文文本分類系統(tǒng)，用于文本預(yù)處理、特征選擇和文本分類。也就是說(shuō)該系統(tǒng)分為文本預(yù)處理、特征選擇和文本分

5、類三個(gè)模塊，每個(gè)模塊之間是相互獨(dú)立并且具有統(tǒng)一接口的，模塊之間的調(diào)用十分方便。
　　 為了驗(yàn)證本文所提出的基于文本詞頻的互信息特征選擇方法的可行性與有效性，本文在中文文本分類系統(tǒng)上進(jìn)行了對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)的結(jié)果表明：通過(guò)本文方法進(jìn)行特征選擇，得到的文本分類結(jié)果，無(wú)論從總體的查全率、查準(zhǔn)率、F1值還是從各個(gè)類別的查全率、查準(zhǔn)率、F1值來(lái)看，都比使用傳統(tǒng)的互信息特征選擇方法和已有的一些改進(jìn)的互信息特征選擇方法進(jìn)行特征選擇得到的文本分