基于內(nèi)容和情感的文本分類(lèi)方法研究.pdf

1、文本分類(lèi)在自然語(yǔ)言處理、信息組織、內(nèi)容過(guò)濾等領(lǐng)域都有著廣泛的應(yīng)用。傳統(tǒng)的K最鄰近法具有簡(jiǎn)單、強(qiáng)壯、無(wú)參數(shù)、分類(lèi)精度高的優(yōu)點(diǎn),但它需要計(jì)算一個(gè)新文本和所有訓(xùn)練文本的距離,因而需要大量的計(jì)算時(shí)間。針對(duì)這一問(wèn)題,本文在使用K最鄰近法之前先使用聚類(lèi)方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,具體做法是使用CHAMELEON算法把訓(xùn)練集中的每個(gè)類(lèi)聚成多個(gè)小簇,計(jì)算小簇的質(zhì)心得到廣義實(shí)例集,找到與未知文本最近的k1個(gè)廣義實(shí)例,再用回溯法找到這k1個(gè)廣義實(shí)例所代表的原始文

2、本,從這些原始文本中找到與未知文本最近的k2個(gè)文本,用它們投票表決未知文檔的歸類(lèi)。在Tan語(yǔ)料庫(kù)和復(fù)旦語(yǔ)料庫(kù)上的實(shí)驗(yàn)表明該方法能夠達(dá)到與傳統(tǒng)KNN相同的分類(lèi)精度和召回度,而運(yùn)行時(shí)間只需要KNN的十分之一左右。
　　在網(wǎng)絡(luò)購(gòu)物中消費(fèi)者對(duì)商品的評(píng)論已成為電子商務(wù)信任機(jī)制的重要組成部分,但大多數(shù)電子商務(wù)網(wǎng)站還不能從語(yǔ)義層面上自動(dòng)區(qū)分好評(píng)與差評(píng)。本文以《知網(wǎng)》情感詞為種子詞匯,提出了一種基于條件隨機(jī)場(chǎng)的Bootrapping情感詞挖掘算法

3、,并利用互信息將這些情感詞分為正面和負(fù)面兩類(lèi)。根據(jù)句子中包含正面和負(fù)面情感詞的數(shù)目將電子商務(wù)網(wǎng)站上的圖書(shū)評(píng)論自動(dòng)分為好評(píng)和差評(píng)。對(duì)2026條圖書(shū)評(píng)論作分類(lèi)實(shí)驗(yàn),正確率將近82％,說(shuō)明了算法的有效性。
　　分詞和特征項(xiàng)選擇是文本分類(lèi)的前期準(zhǔn)備工作。本文通過(guò)在微軟研究院提供的中文語(yǔ)料上做分詞實(shí)驗(yàn)發(fā)現(xiàn)條件隨機(jī)場(chǎng)要優(yōu)于隱馬爾可夫模型。信息增益、互信息、期望交叉熵和卡方統(tǒng)計(jì)量是四種特征選擇的方法,本文的對(duì)比實(shí)驗(yàn)表明信息增益和卡方統(tǒng)計(jì)量這兩種