基于特征碼的大規(guī)模中文網(wǎng)頁并行去重方法.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上信息迅速增加，搜索引擎作為幫助人們從網(wǎng)絡中快速獲取信息的工具，使用日益廣泛。但由于存在許多網(wǎng)頁轉載的情況，搜索引擎的返回結果中存在重復信息，既浪費了帶寬，降低了檢索效率，又浪費了搜索引擎的存儲空間，同時也給用戶帶來糟糕的用戶體驗，這都使得網(wǎng)頁查重技術在搜索引擎技術中占據(jù)重要的地位。
　　本文研究面向搜索引擎系統(tǒng)的大規(guī)模中文網(wǎng)頁去重方法，著力解決以下兩個問題：第一，近似重復網(wǎng)頁的查重問題。由于互聯(lián)網(wǎng)上轉載的內(nèi)容

2、常采用不同的顯示風格或加入評論等其他信息，僅檢測完全重復的網(wǎng)頁不能滿足實際需求，能否檢測出近似重復網(wǎng)頁成為衡量網(wǎng)頁去重算法性能的關鍵因素。第二，如何在搜索引擎的大規(guī)模數(shù)據(jù)集上實現(xiàn)模糊去重，使程序運行所需時間和空間在可接受的范圍是本文實現(xiàn)部分要解決的主要問題。
　　網(wǎng)頁查重技術，按照利用的信息類別來分可分為基于URL，基于鏈接關系和基于網(wǎng)頁內(nèi)容三種。前兩種對近似重復網(wǎng)頁的檢測效果不甚理想，因此目前研究較多的是第三種基于內(nèi)容的方法，基

3、于特征碼的網(wǎng)頁去重方法就是其中的一種。它通過提取特征碼將網(wǎng)頁內(nèi)容映射到較短的字符串上，再據(jù)此定義相似度并判重。該類方法充分利用了中文網(wǎng)頁的特點，運算速度快，準確度高，在中文網(wǎng)頁去重中應用較多。本文使用一種基于變長特征碼的網(wǎng)頁去重方法，通過定義獨立抽取單元，屏蔽小段落對特征碼的影響，克服傳統(tǒng)的特征碼抗噪性能不佳的問題，使得系統(tǒng)具有良好的模糊去重能力。通過引入基于最長公共子串的重復度定義，以及對模糊匹配的支持，進一步增強了系統(tǒng)的模糊去重能力