中文文檔分類中若干關(guān)鍵技術(shù)的研究.pdf

1、隨著信息技術(shù)的發(fā)展，我們步入了一個(gè)信息化的社會(huì)，信息量呈幾何級(jí)數(shù)增加。人們對(duì)信息資源的依賴性越來(lái)越大，如何實(shí)現(xiàn)信息的自動(dòng)分類，尤其是中文文本信息的有效分類是目前中文信息處理研究的一個(gè)重要分支領(lǐng)域。 文本分類是指對(duì)于帶有類別的文本集合，根據(jù)每一個(gè)類別的文本子集合的共有特點(diǎn)，找出一個(gè)分類函數(shù)或分類模型，根據(jù)該模型可以把其它文本映射到已有類別中的一個(gè)，從而實(shí)現(xiàn)對(duì)文本的自動(dòng)分類。它使得用戶不但能夠方便地瀏覽文檔，而且可以通過(guò)限制搜索范圍

2、來(lái)使文檔的查找更為容易。 本文研究了文本分類的背景和發(fā)展現(xiàn)狀，闡述了其系統(tǒng)結(jié)構(gòu)。在系統(tǒng)的構(gòu)建過(guò)程中，重點(diǎn)針對(duì)中文分詞技術(shù)，文本表示，特征選取算法和分類算法四部分進(jìn)行了詳細(xì)的分析和深入的研究，并在現(xiàn)有方法的基礎(chǔ)上分別予以改進(jìn)。在下面的四點(diǎn)中，分別簡(jiǎn)單介紹了本文針對(duì)以上四個(gè)關(guān)鍵部分所做的主要工作。 (1).在中文分詞部分，針對(duì)基于字典的分詞方法中詞典的容量有限，隨現(xiàn)代社會(huì)發(fā)展迅速，新詞不斷出現(xiàn)導(dǎo)致分詞方法極大地受到了詞典的約

3、束這個(gè)問(wèn)題，本文提出了一種漸進(jìn)式擴(kuò)充詞典的分詞方法，在這種方法中結(jié)合了基于字符串匹配和基于統(tǒng)計(jì)相結(jié)合的分詞方法?？梢杂媒y(tǒng)計(jì)的方法識(shí)別出詞典中沒有的新詞，并將其補(bǔ)充進(jìn)詞典中，不斷地?cái)U(kuò)大詞典的規(guī)模，從而極大地提高了分詞的準(zhǔn)確度。 (2).在文本表示這一部分，本文通過(guò)分析經(jīng)典的TF-IDF公式存在的問(wèn)題：該公式在計(jì)算特征詞權(quán)重時(shí)，僅考慮了詞頻因素而忽略了特征詞在文章中的位置、特征詞的長(zhǎng)度、特征詞出現(xiàn)在類內(nèi)類間的文本頻數(shù)這三個(gè)因素對(duì)詞條

4、權(quán)重的影響，提出了一種新的特征詞權(quán)重的計(jì)算方法，該方法將這三方面的因素考慮進(jìn)來(lái)，在TF-IDF 公式的基礎(chǔ)上又進(jìn)行了進(jìn)一步的改進(jìn)。 (3).在DF方法中，本研究發(fā)現(xiàn)以整篇文章為單位來(lái)衡量詞條的重要程度往往沒有以段為單位更精確些。另外，詞條所屬類的文本總段數(shù)與整個(gè)訓(xùn)練文本集的文本總段數(shù)的比例對(duì)詞條的代表性也有很大的影響。本文針對(duì)這兩方面的特點(diǎn)對(duì)DF 公式進(jìn)行了改進(jìn)，簡(jiǎn)稱為NDF。 (4).文本分類算法是一種有監(jiān)督的學(xué)習(xí)算法