中文重復網頁的檢測算法研究.pdf

1、隨著互聯網的日益普及和迅猛發(fā)展，網絡上的信息量呈現爆炸式的增長，搜索引擎成為人們獲取信息的主要方式，而且越來越受到重視。重復網頁檢測一直以來都是搜索引擎研究的重點。本文就如何提高中文重復網頁的檢測算法效率進行研究。
　　 通過比較目前國內外重復網頁檢測的若干方法，本人發(fā)現基于內容的重復網頁檢測算法有較好的效果，而且加入鏈接和鏈接信息并沒有明顯改善算法性能，于是著手研究基于內容的檢測算法。
　　 DSC重復網頁檢測算法是典

2、型的基于內容的重復網頁檢測算法，并且被廣泛應用。該算法基于網頁語法提取網頁特征，實驗發(fā)現該算法不適用于短小文檔的檢測。Google對DSC算法的試驗評估發(fā)現在該算法中加入詞頻信息會提高算法效率。本文結合了詞頻統(tǒng)計和自然語言理解等策略，在計算詞條權重時考慮了詞頻，倒置文檔頻率，位置等內容信息，各種信息按一定比例用統(tǒng)計的方法得到關鍵詞權值；另外本文將向量空間模型應用到網頁相似度計算中來，將網頁進行解析預處理，提取出網頁純文本，然后進行網頁中