基于正文結構和長句提取的網頁去重研究.pdf

1、研究表明，近似鏡像網頁數占總網頁數的比例高達29％，而完全相同的頁面大約占22％。根據CNNIC 2005年7月發(fā)布的統(tǒng)計報告，用戶在回答“檢索信息時遇到的最大問題”這一提問時，選擇“重復信息太多”這一選項的占44.6％，排名問題榜的第1位。如果搜索引擎能夠找出這些重復網頁并從數據庫中去掉，不僅可以節(jié)省存儲空間，也可以提高有效網頁的收集速度，還可以根據網頁的鏡像度來制定更為合理的網頁搜集策略和輸出結果定序(Ranking)算法。因而，如

2、何快速準確地發(fā)現這些內容上相似的網頁已經成為提高搜索引擎服務質量的關鍵技術之一。
　　 通過分析大量重復網頁，本文發(fā)現重復網頁有以下兩個特征：
　　 ①重復網頁的正文可以表示成一棵正文結構樹。其中標題為根結點，每個自然段按照其在正文結構中所處的層次表示為樹相應層次的一個結點。
　　 ②重復網頁的正文內容很可能有所變化，但網頁的正文結構形式通常不會改變或改變很小。即使最壞情況的分頁轉載形式，網頁的正文結構也不會發(fā)生

3、較大變化，只不過分頁轉載后的網頁正文結構樹是其原文正文結構樹的一（幾）棵子樹分支。
　　 針對網頁重復的特點和網頁正文的結構特征，本文提出了一種動態(tài)的、層次的、魯棒性強的網頁去重算法。該方法先對網頁進行必要的去噪處理，其次將網頁正文通過正文結構樹生成算法表示成一棵正文結構樹（除根節(jié)點外，正文結構樹的結點對應于正文中的自然段），然后動態(tài)地、層次地從樹中抽取結點段落作為長句提取算法的輸入得到層次指紋，最后通過層次指紋的相似度計算算法

4、得到網頁的相似度，從而實現鏡像網頁和近似鏡像網頁的檢測。動態(tài)地、分層地對正文進行特征抽取和層次指紋計算，保證了去重算法的效率；通過長句提取算法得到結點指紋，保證了算法的魯棒性。
　　 實驗表明，該方法相對于基于自然段簽名算法和基于長句提取算法有更好的召回率。該方法不僅解決了在正文前后添刪信息的近似鏡像網頁，也解決了在正文中添刪信息的近似鏡像網頁，還解決了分頁轉載的近似鏡像網頁。此方法在搜索引擎重復網頁的過濾中有很好的應用前景和較