中文網(wǎng)頁自動(dòng)分類的一種實(shí)現(xiàn).pdf

1、搜索引擎是網(wǎng)絡(luò)信息檢索的重要工具,在中文搜索引擎的實(shí)現(xiàn)中,中文網(wǎng)頁的自動(dòng)分類是一個(gè)很重要的研究方向.通過自動(dòng)分類不僅僅可以將網(wǎng)頁按照類別信息分別建立相應(yīng)的數(shù)據(jù)庫,提高中文搜索引擎的查全率和查準(zhǔn)率,而且可以建立自動(dòng)的分類信息資源,為用戶提供分類信息目錄,并且,自動(dòng)分類的好與壞,對(duì)后面的相關(guān)性排序過程也有一定的積極作用.該文分析了網(wǎng)頁中對(duì)分類過程有貢獻(xiàn)的結(jié)構(gòu)成分,并針對(duì)中文網(wǎng)頁的特點(diǎn)和網(wǎng)頁分析過程中的對(duì)分詞質(zhì)量的要求,對(duì)現(xiàn)有的最長次長分詞算

2、法進(jìn)行了相應(yīng)的簡化和調(diào)整,使其更加適用與自動(dòng)分類過程.并將信息檢索領(lǐng)域中用于計(jì)算關(guān)鍵字與相關(guān)文獻(xiàn)相關(guān)權(quán)重的IDF(Inverse Document Frequency)公式應(yīng)用于自動(dòng)分類過程,結(jié)合對(duì)中文網(wǎng)頁的分析結(jié)果,得出具有可調(diào)參數(shù)的權(quán)重計(jì)算公式,根據(jù)公式要求,設(shè)計(jì)并建立了用于保存分類訓(xùn)練結(jié)果的分類權(quán)重向量庫.利用語料訓(xùn)練的結(jié)果并運(yùn)用VSM模型,實(shí)現(xiàn)了一種有實(shí)踐意義的中文網(wǎng)頁自動(dòng)分類方法.經(jīng)過閉式和開式測(cè)試,該方法在進(jìn)行大量語料訓(xùn)練后