三網(wǎng)融合下文本分類的特征選擇方法研究.pdf

1、計算機技術(shù)的發(fā)展,互聯(lián)網(wǎng)不斷發(fā)展與普及,以及三網(wǎng)融合工作的不斷推進(jìn),使得人們能夠獲得的信息越來越多,其中這些信息大多數(shù)是以文本形式存在的。新技術(shù)的發(fā)展使得人們的生活更加豐富多彩,但是海量信息也使得人們很難從中選擇出對他們有用的信息。因此對信息分類的研究越來越重要,解決信息雜亂現(xiàn)象的問題,使用戶能夠方便準(zhǔn)確地定位所需要的信息和分流信息。文本自動分類研究的難點問題就是高維的特征向量空間。特征選擇是常用的特征向量空間降維的方法。
　　特

2、征選擇方法對文本分類的效果有很大的影響?；バ畔⑻卣鬟x擇方法和特征頻度TFIDF特征選擇方法是比較好的特征選擇方法,互信息方法是研究特征與類別之間的關(guān)聯(lián)程度,而特征頻度方法是研究特征在文本中的概率。但兩種方法都有一定的不足之處,互信息方法過于依賴低頻詞導(dǎo)致特征選擇排序時損失大量有用信息,而且當(dāng)特征詞條的互信息值很大時,與該特征相關(guān)的一些特征詞可能被選擇,這造成了特征冗余;特征頻度TFIDF特征選擇方法沒有考慮特征在各種類別之間的分布情況,

3、也沒有考慮特征在類別內(nèi)部的各個文本之間的分布情況。前輩們針對互信息和特征頻度的不足來提出了改進(jìn)方法。論文在前人的基礎(chǔ)上給出改進(jìn)方案,引入調(diào)節(jié)因子來改善互信息方法的不足,將信息熵的思想加入到特征頻度TFIDF方法中加以改進(jìn),然后將改進(jìn)后的兩種方法相結(jié)合起來使用,取長補短,提出新的改進(jìn)的組合型特征選擇方法。
　　最后,通過設(shè)計中文文本分類系統(tǒng)來做實驗,檢驗改進(jìn)的組合型特征選擇方法的有效性和可行性。分別使用改進(jìn)的組合型特征選擇方法、傳統(tǒng)