文本分類特征選取技術(shù)研究.pdf

1、隨著Internet的迅速發(fā)展,網(wǎng)絡(luò)信息不斷膨脹。為了提供高效、準(zhǔn)確的信息服務(wù),我們需要對網(wǎng)絡(luò)中繁雜的信息進(jìn)行合理的組織與分類。而文本分類作為信息過濾、搜索引擎、文本數(shù)據(jù)庫、數(shù)值化圖書館等領(lǐng)域的技術(shù)基礎(chǔ),有著廣泛的應(yīng)用前景,因此也就成為人們研究的熱點(diǎn)問題。 本文從文本模型的向量模型表示、特征選擇、權(quán)重公式和分類器訓(xùn)練這個(gè)步驟較系統(tǒng)地研究了文本自動(dòng)分類,同時(shí)將粗糙集理論應(yīng)用到了文本分類中。 1.介紹了文本分類的概念和向量空

2、間模型,分類系統(tǒng)的性能評價(jià)參數(shù)與粗糙集基本理論。 2.針對文本分類系統(tǒng)中關(guān)鍵技術(shù)問題,討論了文本表示的整個(gè)過程--文本預(yù)處理,特征選擇,權(quán)重計(jì)算,生成文本向量空間,提出了基于詞性篩選的預(yù)處理方法,對互信息特征選擇算法進(jìn)行了擴(kuò)展,引入了改進(jìn)的權(quán)重公式MTF-IDF。 對當(dāng)前性能較好的三種文本分類算法：樸樹貝葉斯、KNN法和支持向量機(jī)進(jìn)行了研究,對現(xiàn)有特征選擇方法及權(quán)重公式進(jìn)行了對比實(shí)驗(yàn)。 3.結(jié)合粗糙集的優(yōu)點(diǎn),提出