布隆過濾器在網(wǎng)頁去重中的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)信息呈爆炸性的增長。大量的信息一方面給人們帶來了更多的消息來源，而另一方面也給人們搜索有用的信息帶來巨大的負(fù)擔(dān)。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心CNNIC在2012年的統(tǒng)計:2011年全球網(wǎng)頁的數(shù)量已經(jīng)達(dá)到866億個，而2012年這個數(shù)字已經(jīng)增加到了1227億個。因此如何更有效的消除互聯(lián)網(wǎng)中的重復(fù)信息，讓人們便捷的找到所求，已經(jīng)成為現(xiàn)代互聯(lián)網(wǎng)的一個重要的問題。
　　 布隆過濾器(Bloom Filter)是1970

2、年提出的一種去重算法，它實際上是由一個很長的二進制向量和一系列隨機映射函數(shù)組成的。如今，他已經(jīng)運用在了很多領(lǐng)域，并且通過國內(nèi)外的研究，逐漸改進了算法的缺點。
　　 本文從理論和應(yīng)用同時入手，通過實驗的方法，找到布隆過濾器在網(wǎng)頁去重領(lǐng)域比較好的改進方案。
　　 首先，本文介紹了重復(fù)網(wǎng)頁的概念和種類，總結(jié)了重復(fù)網(wǎng)頁產(chǎn)生的原因。并且簡要介紹了一些相關(guān)概念。
　　 其次，重點介紹了布隆過濾器以及其改進算法。以改進布隆過濾