基于模糊匹配思想的網(wǎng)頁去重算法.pdf

1、信息時代的到來，使計算機網(wǎng)絡(luò)的使用頻率越來越高，互聯(lián)網(wǎng)上的信息也越來越多。面對著如此多的海量信息，如果需要找到自己需要的相應(yīng)的信息，需要費很大的精力，于是搜索引擎就成為了用戶尋找自己所需要的信息的首選工具。用戶對于搜索引擎的急切需求促進(jìn)了搜索引擎的蓬勃發(fā)展，國內(nèi)外先后出現(xiàn)了很多搜索引擎，如：yahoo，google，baidu等。然而，廣大Internet用戶在使用搜索引擎系統(tǒng)時，常常會發(fā)現(xiàn)搜索輸出結(jié)果里面包含了大量的重復(fù)信息。如何快速

2、準(zhǔn)確地發(fā)現(xiàn)這些內(nèi)容上相似的網(wǎng)頁，并將重復(fù)的頁面清除是目前最關(guān)注的問題。 網(wǎng)頁去重是提高檢索質(zhì)量的有效途徑，也是自然語言處理中的一個重要研究課題。本論文給出了一種基于模糊字符串匹配思想的中文網(wǎng)頁去重算法，首先對網(wǎng)頁去重的算法的發(fā)展現(xiàn)狀及其特點進(jìn)行了研究。然后研究和分析了現(xiàn)有的基于各種思想的網(wǎng)頁去重算法，并比較了各種思想的算法的優(yōu)缺點。進(jìn)一步，結(jié)合模糊匹配思想詳細(xì)介紹了利用此算法如何實現(xiàn)網(wǎng)頁去重的具體步驟。該算法有較高的準(zhǔn)確率，在信