基于關(guān)鍵字的搜索引擎搜索結(jié)果中文網(wǎng)頁分類研究.pdf

1、隨著Internet的迅速發(fā)展，搜索引擎的應(yīng)用越來越廣泛。為了提供高效、準(zhǔn)確的信息服務(wù)，我們需要對(duì)搜索引擎的結(jié)果信息進(jìn)行合理的組織與分類。本文的目標(biāo)就是以Web文本信息處理為背景，從理論及應(yīng)用兩個(gè)層次對(duì)Web文本信息的聚類、分類方法進(jìn)行了較為深入的研究。 論文首先介紹、分析傳統(tǒng)的文本分類和聚類算法的原理和特點(diǎn)。然后在現(xiàn)有技術(shù)的基礎(chǔ)上，初步設(shè)計(jì)實(shí)現(xiàn)搜索網(wǎng)頁分類系統(tǒng)，包括：關(guān)鍵字搜索結(jié)果網(wǎng)頁類型判斷方法，網(wǎng)頁分塊，網(wǎng)頁消重與凈化，完

2、成了系統(tǒng)整體設(shè)計(jì)；然后對(duì)于不容易分類的HTML網(wǎng)頁，提出一種新的基于摘要的網(wǎng)頁搜索結(jié)果聚類和基于學(xué)習(xí)的網(wǎng)頁搜索結(jié)果分類器設(shè)計(jì)方法。最后，在實(shí)驗(yàn)獲得了部分參數(shù)條件下，構(gòu)造中文文本分類器，并編程實(shí)現(xiàn)，通過實(shí)例測(cè)試分類器性能。 論文的重點(diǎn)是在文本聚類指導(dǎo)下的分類模式的提取。與傳統(tǒng)分類器不同，我們?cè)谌狈︻愋畔⒌那闆r下，采用聚類替代領(lǐng)域?qū)＜业娜斯し诸惈@得類信息，為構(gòu)造分類器提供合適的類信息特征提取，取得了較好效果。聚類部分，采用較為適合基

3、于網(wǎng)頁摘要聚類的顯著短語級(jí)別聚類算法，并從理論角度對(duì)這種算法的優(yōu)點(diǎn)進(jìn)行論證。分類部分，論文分析了文本分類采用的樸素Bayes分類器和支持向量機(jī)技術(shù)的原理和優(yōu)點(diǎn)，對(duì)一種具體的SVM方法—SMO訓(xùn)練方法進(jìn)行了研究并利用實(shí)例進(jìn)行驗(yàn)證。 本論文提出的基于摘要和聚類指導(dǎo)的中文Web網(wǎng)頁分類器設(shè)計(jì)方案，提出了基于改進(jìn)的Luhn's摘要方法和有“指導(dǎo)”摘要的混合摘要方法，實(shí)驗(yàn)了在不同的網(wǎng)頁摘要的壓縮比例情況下，分類器對(duì)摘要實(shí)驗(yàn)效果，其分類的準(zhǔn)