基于特征碼的大規(guī)模中文網(wǎng)頁并行去重方法.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上信息迅速增加，搜索引擎作為幫助人們從網(wǎng)絡(luò)中快速獲取信息的工具，使用日益廣泛。但由于存在許多網(wǎng)頁轉(zhuǎn)載的情況，搜索引擎的返回結(jié)果中存在重復(fù)信息，既浪費(fèi)了帶寬，降低了檢索效率，又浪費(fèi)了搜索引擎的存儲空間，同時也給用戶帶來糟糕的用戶體驗(yàn)，這都使得網(wǎng)頁查重技術(shù)在搜索引擎技術(shù)中占據(jù)重要的地位。
　　本文研究面向搜索引擎系統(tǒng)的大規(guī)模中文網(wǎng)頁去重方法，著力解決以下兩個問題：第一，近似重復(fù)網(wǎng)頁的查重問題。由于互聯(lián)網(wǎng)上轉(zhuǎn)載的內(nèi)容

2、常采用不同的顯示風(fēng)格或加入評論等其他信息，僅檢測完全重復(fù)的網(wǎng)頁不能滿足實(shí)際需求，能否檢測出近似重復(fù)網(wǎng)頁成為衡量網(wǎng)頁去重算法性能的關(guān)鍵因素。第二，如何在搜索引擎的大規(guī)模數(shù)據(jù)集上實(shí)現(xiàn)模糊去重，使程序運(yùn)行所需時間和空間在可接受的范圍是本文實(shí)現(xiàn)部分要解決的主要問題。
　　網(wǎng)頁查重技術(shù)，按照利用的信息類別來分可分為基于URL，基于鏈接關(guān)系和基于網(wǎng)頁內(nèi)容三種。前兩種對近似重復(fù)網(wǎng)頁的檢測效果不甚理想，因此目前研究較多的是第三種基于內(nèi)容的方法，基

3、于特征碼的網(wǎng)頁去重方法就是其中的一種。它通過提取特征碼將網(wǎng)頁內(nèi)容映射到較短的字符串上，再據(jù)此定義相似度并判重。該類方法充分利用了中文網(wǎng)頁的特點(diǎn)，運(yùn)算速度快，準(zhǔn)確度高，在中文網(wǎng)頁去重中應(yīng)用較多。本文使用一種基于變長特征碼的網(wǎng)頁去重方法，通過定義獨(dú)立抽取單元，屏蔽小段落對特征碼的影響，克服傳統(tǒng)的特征碼抗噪性能不佳的問題，使得系統(tǒng)具有良好的模糊去重能力。通過引入基于最長公共子串的重復(fù)度定義，以及對模糊匹配的支持，進(jìn)一步增強(qiáng)了系統(tǒng)的模糊去重能力