中文WEB文檔自動(dòng)分類的研究與實(shí)現(xiàn).pdf

1、因特網(wǎng)上的信息日益豐富,已經(jīng)成為知識(shí)獲取的一個(gè)重要來(lái)源.信息資源的豐富也使信息的檢索有如大海撈針,檢索到自己所需要的信息資源效率不高.對(duì)信息進(jìn)行整理,提高信息檢索的效率具有非常重要的意義.本課題的研究的內(nèi)容是對(duì)中文WEB文檔進(jìn)行自動(dòng)整理歸類,以提高用戶對(duì)信息檢索的體驗(yàn),它也是搜索引擎的核心技術(shù).本課題開發(fā)的中文WEB文檔自動(dòng)分類工具有較好分類準(zhǔn)確度,也為進(jìn)一步研究打下了基礎(chǔ).本文首先介紹了文本自動(dòng)分類的主要方法,分析了中文WEB文檔的特

2、點(diǎn),提出了中文WEB文檔自動(dòng)分類的主要技術(shù)問題,介紹了中文WEB文檔自動(dòng)分類工具的總體設(shè)計(jì),它主要包括網(wǎng)絡(luò)蜘蛛、中文分詞、特征選取和貝葉斯分類器等功能模塊.接著分析了各模塊的主要算法和Java實(shí)現(xiàn)方法.最后對(duì)中文WEB文檔自動(dòng)分類器進(jìn)行了實(shí)驗(yàn),對(duì)我們所構(gòu)建的中文WEB文檔自動(dòng)分類工具的性能進(jìn)行了評(píng)估,實(shí)驗(yàn)表明此工具有較高的分類準(zhǔn)確度,達(dá)到了設(shè)計(jì)的要求.本論文的結(jié)構(gòu)如下:第1章:對(duì)目前的文檔分類技術(shù)進(jìn)行了分析,著重指出了中文WEB文檔分類

3、的特殊性,提出了研究的主要內(nèi)容.第2章:對(duì)中文WEB文檔自動(dòng)分類器進(jìn)行了總體設(shè)計(jì),制訂了它的各個(gè)功能模塊及每個(gè)模塊的主要功能.同時(shí)也闡述了所使用的新方法.第3章:講述了網(wǎng)絡(luò)蜘蛛抓取WEB文檔的原理,分析了對(duì)WEB文檔進(jìn)行結(jié)構(gòu)化解析的主要技術(shù)和網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)方法.第4章:分析和比較了多種中文分詞實(shí)現(xiàn)方法,對(duì)最大匹配分詞法進(jìn)行了改進(jìn),提高了中文分詞的效率和準(zhǔn)確度.并給出了實(shí)現(xiàn)的技術(shù)細(xì)節(jié),特別是對(duì)中文詞典的實(shí)現(xiàn)方法作了詳細(xì)介紹.第5章:分析了