搜索引擎中網(wǎng)頁凈化與消重技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展導(dǎo)致數(shù)字化信息呈爆炸式增長。搜索引擎作為幫助人們?cè)诤Ａ啃畔⒅袑ひ捤栊畔⒌墓ぞ?，其重要性與日俱增。然而，由于網(wǎng)頁噪音和重復(fù)網(wǎng)頁的存在，搜索引擎的檢索結(jié)果中存在著大量的冗余信息，使得搜索引擎的服務(wù)質(zhì)量降低。因此，如何快速準(zhǔn)確地去除網(wǎng)頁噪音和重復(fù)網(wǎng)頁成為一個(gè)亟待解決的問題。
　　 本文深入研究了搜索引擎中網(wǎng)頁凈化與消重的技術(shù)。首先分析了網(wǎng)頁噪音及網(wǎng)頁重復(fù)對(duì)搜索引擎的影響；然后介紹了網(wǎng)頁噪聲和網(wǎng)頁重復(fù)的相關(guān)概念及特點(diǎn)，

2、研究了網(wǎng)頁凈化與消重的經(jīng)典算法，并分析了這些算法的優(yōu)點(diǎn)和不足。
　　 在網(wǎng)頁凈化方面，根據(jù)同一網(wǎng)站的網(wǎng)頁結(jié)構(gòu)布局基本相同的特點(diǎn)，提出了一種新的基于樹編輯距離的網(wǎng)頁凈化算法。該算法利用樹編輯距離和嚴(yán)格自頂向下映射原理，以最小的代價(jià)檢測網(wǎng)站的模板，并將該模板作為噪音信息從網(wǎng)頁中去除。實(shí)驗(yàn)結(jié)果表明，該算法在保證網(wǎng)頁主題內(nèi)容完整的同時(shí)，有效的去除了網(wǎng)頁噪音。
　　 在網(wǎng)頁消重方面，針對(duì)web上網(wǎng)頁重復(fù)的現(xiàn)象，提出了一種新的基于信