大規(guī)模網(wǎng)頁相似度算法的研究.pdf

1、互聯(lián)網(wǎng)的誕生和發(fā)展,深刻的改變了人們的生活,激發(fā)并促進了人類和社會的進化?；ヂ?lián)網(wǎng)上資源為用戶提供大量的信息,大大方便信息的獲取和整合,但是這種傳播的便捷性同時也大大降低轉(zhuǎn)載復(fù)制的成本,于是這些海量信息中就會存在大量的重復(fù),給用戶帶來過多無意義的信息和麻煩。因此,如何通過相似檢索來獲取真正有價值的信息成為目前研究的一個熱點。 相似度算法問題是信息檢索領(lǐng)域的一個重要的研究內(nèi)容。提高相似網(wǎng)頁的檢測對于搜索引擎的抓取、索引、存儲和查詢都

2、有很大的意義。但是經(jīng)典的文本相似度算法在大規(guī)模數(shù)據(jù)集上檢測相似網(wǎng)頁時,時間和空間復(fù)雜度都太高。本文通過對HTML網(wǎng)頁進行解析,采用基于文檔對象模型和基于視覺特征的方法抽取網(wǎng)頁正文。從基于語法的文本相似度研究出發(fā),采用標(biāo)引化、去除停用詞、抽取詞干等文本詞匯分析方法和基于向量空間統(tǒng)計詞頻、N-gram、抽取最長句子等文本特征選擇方法,之后對抽取的特征進行MD5和Rabin指紋簽名。 本文的創(chuàng)新點有兩個方面： 第一,提出基于標(biāo)

3、引詞編輯距離的相似度度量方法,發(fā)明編輯比例EditRate和編輯相似度EditSim兩個計算公式,并實現(xiàn)算法用于機器標(biāo)注數(shù)據(jù)集,將該度量方法作為其他相似度算法的基線。 第二,提出大規(guī)模網(wǎng)頁相似度算法FusionSim。FusionSim算法是在SimHash算法的基礎(chǔ)上,融合詞頻統(tǒng)計、N-gram、抽取最長句子等一系列算法來度量網(wǎng)頁文檔的相似度。FusionSim除了特征選擇的多樣化,還考慮特征在文本中的位置信息和特征之間的相互