中文文本自動分類系統(tǒng)研究—漢語分詞及分類器的設(shè)計.pdf

1、隨著網(wǎng)絡(luò)信息的迅猛發(fā)展,信息處理已經(jīng)成為人們獲取有用信息不可缺少的工具.文本自動分類系統(tǒng)是信息處理的重要研究方向.它是指在給定的分類體系下,根據(jù)文本的內(nèi)容自動判別文本類別的過程,具有很重要的現(xiàn)實意義,對電子政務(wù)、聯(lián)機出版、網(wǎng)絡(luò)信息檢索與服務(wù)、公共電子圖書館和大規(guī)模真實語料庫的建設(shè)等領(lǐng)域更具有廣闊的應(yīng)用前景.本文從面向應(yīng)用、面向大規(guī)模、面向真實文本等實際需求的角度出發(fā),從以下幾個方面展開了對中文文本自動分類系統(tǒng)的研究:首先是漢語自動分詞技

2、術(shù)的研究,包括詞語粗切分、未登錄詞識別、詞性標(biāo)注排歧等.在詞語粗切分中,我們綜合最短路徑方法與全切分方法,提出了一種基于N-最短路徑一元統(tǒng)計的粗分模型對中文詞語進行粗分;在未登錄詞識別中,我們分別對數(shù)詞短語、疊字詞、名字的識別提出了不同的識別方法.其中,在對名字的識別過程中,我們采用了Viterbi算法,確定句中概率最大的上下文信息狀態(tài)序列,并結(jié)合文本的局部統(tǒng)計量,對人名、地名、譯名進行匹配識別;而對于詞性的標(biāo)注排歧,我們是采用了CLA

3、WS算法的思想,結(jié)合每個詞的各個詞性標(biāo)記具有不同概率的特點,基于隱馬爾科夫模型進行的.其次是關(guān)于分類器的設(shè)計方面,我們著重解決了特征詞的抽取、文本的表示、采用支持向量機方法對分類器的設(shè)計實現(xiàn).對于特征詞的抽取,我們是根據(jù)香農(nóng)信息學(xué)的理論,從每類文本集的高頻詞詞庫中去掉停用詞詞庫中的詞,得到每類對應(yīng)的類型詞詞庫,在此基礎(chǔ)上設(shè)計特征詞加權(quán)函數(shù)進行特征詞的抽取和加權(quán);而文本的表示問題,我們采用的是基于向量空間模型的數(shù)字化表示方法,利用文本的特