中文重復(fù)網(wǎng)頁(yè)的檢測(cè)算法研究.pdf

1、隨著互聯(lián)網(wǎng)的日益普及和迅猛發(fā)展，網(wǎng)絡(luò)上的信息量呈現(xiàn)爆炸式的增長(zhǎng)，搜索引擎成為人們獲取信息的主要方式，而且越來越受到重視。重復(fù)網(wǎng)頁(yè)檢測(cè)一直以來都是搜索引擎研究的重點(diǎn)。本文就如何提高中文重復(fù)網(wǎng)頁(yè)的檢測(cè)算法效率進(jìn)行研究。
　　 通過比較目前國(guó)內(nèi)外重復(fù)網(wǎng)頁(yè)檢測(cè)的若干方法，本人發(fā)現(xiàn)基于內(nèi)容的重復(fù)網(wǎng)頁(yè)檢測(cè)算法有較好的效果，而且加入鏈接和鏈接信息并沒有明顯改善算法性能，于是著手研究基于內(nèi)容的檢測(cè)算法。
　　 DSC重復(fù)網(wǎng)頁(yè)檢測(cè)算法是典

2、型的基于內(nèi)容的重復(fù)網(wǎng)頁(yè)檢測(cè)算法，并且被廣泛應(yīng)用。該算法基于網(wǎng)頁(yè)語法提取網(wǎng)頁(yè)特征，實(shí)驗(yàn)發(fā)現(xiàn)該算法不適用于短小文檔的檢測(cè)。Google對(duì)DSC算法的試驗(yàn)評(píng)估發(fā)現(xiàn)在該算法中加入詞頻信息會(huì)提高算法效率。本文結(jié)合了詞頻統(tǒng)計(jì)和自然語言理解等策略，在計(jì)算詞條權(quán)重時(shí)考慮了詞頻，倒置文檔頻率，位置等內(nèi)容信息，各種信息按一定比例用統(tǒng)計(jì)的方法得到關(guān)鍵詞權(quán)值；另外本文將向量空間模型應(yīng)用到網(wǎng)頁(yè)相似度計(jì)算中來，將網(wǎng)頁(yè)進(jìn)行解析預(yù)處理，提取出網(wǎng)頁(yè)純文本，然后進(jìn)行網(wǎng)頁(yè)中