基于VSM的文本分類(lèi)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、眾所周知，網(wǎng)絡(luò)信息技術(shù)發(fā)展的速度相當(dāng)驚人，信息增長(zhǎng)速度越來(lái)越快，人類(lèi)面臨的信息量已經(jīng)十分龐大，怎么樣在這樣巨大的數(shù)據(jù)量中找到人類(lèi)需要的信息，滿(mǎn)足人類(lèi)的需求，成為了人類(lèi)面臨的一大問(wèn)題，使用計(jì)算機(jī)對(duì)文本進(jìn)行自動(dòng)化分類(lèi)的技術(shù)能夠在很大程度上幫助人們解決這個(gè)問(wèn)題。文本分類(lèi)技術(shù)是自然語(yǔ)言處理領(lǐng)域和模式識(shí)別領(lǐng)域的一大課題，它誕生于20世紀(jì)50年代末，最初被使用于圖書(shū)管理領(lǐng)域，經(jīng)過(guò)好幾代學(xué)者的研究到今天，這門(mén)技術(shù)已經(jīng)從青澀變得成熟。近年來(lái)文本分類(lèi)技術(shù)

2、已經(jīng)應(yīng)用到信息檢索，信息推送，信息過(guò)濾等多個(gè)領(lǐng)域，并且為人類(lèi)提供了更好的信息化的服務(wù)。研究文本分類(lèi)技術(shù)對(duì)我們有著很大的意義，它可以幫我們減少信息獲取的時(shí)間，更好的取得信息，同時(shí)也有利于我們對(duì)信息更好地分類(lèi)整理。
　　本文完成了一個(gè)使用向量空間模型（VSM）的文本分類(lèi)系統(tǒng)，在文本分類(lèi)預(yù)處理階段，使用了基于隱馬爾科夫模型（HMM）的分詞方法將文本轉(zhuǎn)化成為詞袋的表示形式。在文本特征項(xiàng)選取過(guò)程中，采用了開(kāi)方測(cè)試(CHI統(tǒng)計(jì)量)和互信息法進(jìn)

3、行特征項(xiàng)選取。
　　在特征項(xiàng)特征權(quán)重賦值方面，本文參考了眾多論文對(duì)改進(jìn)的TF-IDF的特征權(quán)重賦值方法的描述，探討并且采用了TF-IDF的改進(jìn)版本作為本文涉及的文本分類(lèi)系統(tǒng)的特征權(quán)重函數(shù)。
　　在分類(lèi)器選擇方面，本文借鑒了比較成熟，高效的支持向量機(jī)技術(shù)，支持向量機(jī)是向量空間模型的一種實(shí)現(xiàn)，并且使用臺(tái)灣大學(xué)林老師的LIBSVM對(duì)文本進(jìn)行分類(lèi)，同時(shí)本文深入探討了支持向量機(jī)技術(shù)。
　　本文所涉及的文本分類(lèi)系統(tǒng)從工程實(shí)際角度出