搜索引擎中網(wǎng)頁(yè)分類和網(wǎng)頁(yè)凈化的研究與實(shí)現(xiàn).pdf

1、隨著社會(huì)的進(jìn)步和科技的飛速發(fā)展，人們的生活已經(jīng)越來(lái)越離不開(kāi)網(wǎng)絡(luò)了，為了滿足人們?nèi)找嬖鲩L(zhǎng)的需求，海量的網(wǎng)頁(yè)信息也隨之產(chǎn)生了，如何從這些海量的信息中找到人們所需要的信息變得越來(lái)越困難，搜索引擎正是為了解決這一難題而產(chǎn)生的。
　　 用戶瀏覽的網(wǎng)頁(yè)可以從內(nèi)容展現(xiàn)形式上分為目錄型網(wǎng)頁(yè)(hub)、主題型網(wǎng)頁(yè)(topic)和圖片型網(wǎng)頁(yè)(picture)這三類，現(xiàn)在將視頻型網(wǎng)頁(yè)也歸類為圖片型網(wǎng)頁(yè)。這三種類型的網(wǎng)頁(yè)在展現(xiàn)形式上的差異，直接影響到信

2、息提取的方法也有所不同，對(duì)于目錄型網(wǎng)頁(yè)，主要是提取中間的鏈接信息;而對(duì)于主題型網(wǎng)頁(yè)則是提取主題內(nèi)容;圖片型網(wǎng)頁(yè)則主要是圖片和視頻。如何能對(duì)網(wǎng)頁(yè)進(jìn)行快速、準(zhǔn)確的分類是搜索引擎在預(yù)處理階段必須完成的工作?，F(xiàn)在的網(wǎng)頁(yè)在分類上呈現(xiàn)出模糊化，許多目錄型的網(wǎng)頁(yè)中間包含著大量的說(shuō)明性文字，使其看起來(lái)跟主題型網(wǎng)頁(yè)又有幾分類似，這對(duì)網(wǎng)頁(yè)分類又是一個(gè)巨大的挑戰(zhàn)。
　　 搜索引擎在預(yù)處理階段最主要的目的是信息提取，由于網(wǎng)頁(yè)是一種半結(jié)構(gòu)化的數(shù)據(jù)，在信息

3、的提取過(guò)程中充滿著各種挑戰(zhàn)。為了頁(yè)面的內(nèi)容豐富、布局美觀還有商業(yè)因素的慘雜，使得網(wǎng)頁(yè)一般都包含著無(wú)用的鏈接、廣告信息、版權(quán)信息等。這些信息嚴(yán)重影響到了網(wǎng)頁(yè)內(nèi)容提取的準(zhǔn)確度，進(jìn)而影響到了返回給用戶檢索結(jié)果的準(zhǔn)確性，因此在進(jìn)行信息的提取過(guò)程中必須進(jìn)行去噪處理。
　　 如何提高搜索引擎的搜索質(zhì)量和搜索效率一直都是人們不斷研究和努力的方向，本文正是在研究搜索引擎的預(yù)處理過(guò)程中，著重研究了網(wǎng)頁(yè)分類和網(wǎng)頁(yè)凈化這兩點(diǎn)，研究的主要內(nèi)容有:

4、>　　 (1)提出并實(shí)現(xiàn)了一種網(wǎng)頁(yè)分類的方法，該算法主要是對(duì)目錄型和主題型的網(wǎng)頁(yè)進(jìn)行分類，通過(guò)一組多特征的啟發(fā)式的規(guī)則去甄別網(wǎng)頁(yè)的類型，實(shí)驗(yàn)證明該算法在網(wǎng)頁(yè)分類上具有良好的效果。
　　 (2)采用網(wǎng)頁(yè)進(jìn)行分塊的思想，通過(guò)觀察統(tǒng)計(jì)網(wǎng)頁(yè)的主題內(nèi)容的特點(diǎn)，提出了通過(guò)計(jì)算該結(jié)構(gòu)塊對(duì)整個(gè)網(wǎng)頁(yè)類型的支持率來(lái)判斷該塊是否為主題塊，同時(shí)針對(duì)不規(guī)范的網(wǎng)頁(yè)中主題內(nèi)容離散的特點(diǎn)，針對(duì)性的采用了文本間相似度比較來(lái)判斷該塊是否為主題塊，實(shí)驗(yàn)證明該算法是