中文WEB文檔自動分類的研究與實現(xiàn).pdf

1、因特網(wǎng)上的信息日益豐富,已經(jīng)成為知識獲取的一個重要來源.信息資源的豐富也使信息的檢索有如大海撈針,檢索到自己所需要的信息資源效率不高.對信息進行整理,提高信息檢索的效率具有非常重要的意義.本課題的研究的內(nèi)容是對中文WEB文檔進行自動整理歸類,以提高用戶對信息檢索的體驗,它也是搜索引擎的核心技術(shù).本課題開發(fā)的中文WEB文檔自動分類工具有較好分類準(zhǔn)確度,也為進一步研究打下了基礎(chǔ).本文首先介紹了文本自動分類的主要方法,分析了中文WEB文檔的特

2、點,提出了中文WEB文檔自動分類的主要技術(shù)問題,介紹了中文WEB文檔自動分類工具的總體設(shè)計,它主要包括網(wǎng)絡(luò)蜘蛛、中文分詞、特征選取和貝葉斯分類器等功能模塊.接著分析了各模塊的主要算法和Java實現(xiàn)方法.最后對中文WEB文檔自動分類器進行了實驗,對我們所構(gòu)建的中文WEB文檔自動分類工具的性能進行了評估,實驗表明此工具有較高的分類準(zhǔn)確度,達(dá)到了設(shè)計的要求.本論文的結(jié)構(gòu)如下:第1章:對目前的文檔分類技術(shù)進行了分析,著重指出了中文WEB文檔分類

3、的特殊性,提出了研究的主要內(nèi)容.第2章:對中文WEB文檔自動分類器進行了總體設(shè)計,制訂了它的各個功能模塊及每個模塊的主要功能.同時也闡述了所使用的新方法.第3章:講述了網(wǎng)絡(luò)蜘蛛抓取WEB文檔的原理,分析了對WEB文檔進行結(jié)構(gòu)化解析的主要技術(shù)和網(wǎng)絡(luò)蜘蛛的實現(xiàn)方法.第4章:分析和比較了多種中文分詞實現(xiàn)方法,對最大匹配分詞法進行了改進,提高了中文分詞的效率和準(zhǔn)確度.并給出了實現(xiàn)的技術(shù)細(xì)節(jié),特別是對中文詞典的實現(xiàn)方法作了詳細(xì)介紹.第5章:分析了