基于信息增益的中文特征提取算法研究.pdf

1、隨著網(wǎng)絡(luò)和信息技術(shù)的飛速發(fā)展，人們可獲得的知識(shí)越來(lái)越多，但是要快速、準(zhǔn)確地定位需要的信息卻越來(lái)越困難。如何在海量的信息中提取有價(jià)值的信息成為信息處理的一大熱點(diǎn)，各種信息組織和處理的技術(shù)被提出來(lái)，文本分類(lèi)技術(shù)就是其中之一。文本分類(lèi)能夠處理大量的文本，較大程度解決信息資源雜亂無(wú)章的現(xiàn)狀，方便用戶(hù)準(zhǔn)確定位所需信息。
　　文本分類(lèi)涉及文本預(yù)處理、中文分詞、特征選取等多個(gè)過(guò)程。其中特征詞權(quán)重算法和分類(lèi)算法一直是文本分類(lèi)過(guò)程中的研究熱點(diǎn)，算法

2、的優(yōu)劣將直接影響分類(lèi)的效果。本文將特征詞權(quán)重算法和分類(lèi)算法作為重點(diǎn)研究對(duì)象，針對(duì)它們存在的不足進(jìn)行改進(jìn)。本文主要工作如下：
　　①分析權(quán)重公式TFIDF和TF.IDF.IG。
　?、趯?duì)TF.IDF.IG的進(jìn)一步分析，發(fā)現(xiàn) TF.IDF.IG對(duì)TFIDF的改進(jìn)并不徹底，TF.IDF.IG只考慮了詞語(yǔ)在文檔集合中的分布情況，沒(méi)有考慮詞語(yǔ)在不同層次的分布情況對(duì)權(quán)重的影響。本文將從類(lèi)別層次和文檔層次兩個(gè)層面去改進(jìn)TF.IDF.IG，

3、提出新的特征詞權(quán)重計(jì)算公式。
　　③對(duì)現(xiàn)有分類(lèi)算法KNN進(jìn)行分析，針對(duì)其在決定測(cè)試樣本的類(lèi)別時(shí)，把測(cè)試樣本的k個(gè)最近鄰等同看待的缺點(diǎn)，本文將模糊數(shù)學(xué)的隸屬度函數(shù)引入KNN算法來(lái)改進(jìn)其類(lèi)別屬性函數(shù)，從而區(qū)別對(duì)待測(cè)試樣本的k個(gè)最近鄰。
　?、転榱蓑?yàn)證本文改進(jìn)的TF.IDF.IG方法的正確性和KNN算法用于中文文本分類(lèi)的效果，本文將完成兩個(gè)實(shí)驗(yàn)：1）將改進(jìn)的TF.IDF.IG權(quán)重算法和TF.IDF.IG對(duì)比實(shí)驗(yàn)；2）將改進(jìn)的KNN