基于Hadoop的重復數(shù)據(jù)刪除技術的研究與應用.pdf

1、隨著晶體管電路越來越接近物理上的性能極限，摩爾定律已經(jīng)變得失效了，盡管如此，也不能把對大規(guī)模數(shù)據(jù)的處理的希望都寄托在越來越大型的服務器上。假如我們將現(xiàn)有的很多中低端的/商用的機器進行組合起來，構成一個具有專一功能的分布式系統(tǒng)，對大型數(shù)據(jù)的處理問題就迎刃而解了。
　　 分布式計算近年來的發(fā)展飛速，Hadoop平臺的成熟與穩(wěn)定成為了使用最為廣泛的平臺。本文主要從如何提高數(shù)據(jù)質量，保證高質量記錄這個角度出發(fā)，并以此為目的，在Hadoo

2、p分布式框架基礎上設計并實現(xiàn)了一個對重復數(shù)據(jù)進行刪除的平臺。本文采用的Hadoop分布式計算框架是開源的，此外，它的穩(wěn)定性和運算效率都比較高、運行成本低廉、兼容性好，擴充力高，并且采用的Map/Reduce編程模型非常適用于本文所做的研究。
　　 如今是信息高速發(fā)展的年代，不管是個人還是企事業(yè)單位都會隨著時間的遞增產(chǎn)生越來越多是數(shù)據(jù)，而產(chǎn)生的這些數(shù)據(jù)實際上是我們不需要的信息，這時就會出現(xiàn)雖然數(shù)據(jù)多，但是有用信息少的窘迫局面，也就

3、是常說的“數(shù)據(jù)爆炸，知識貧乏”的局面。數(shù)據(jù)質量的高低反映了數(shù)據(jù)的價值的高低，對于低質量的數(shù)據(jù)往往是無效不可用的，此時，數(shù)據(jù)刪除這一解決數(shù)據(jù)質量的技術成為了研究的重點。本文主要專注于重復數(shù)據(jù)刪除。
　　 本論文首先介紹了數(shù)據(jù)刪除中重復數(shù)據(jù)刪除的研究背景及其意義，還有相關課題在國內外的研究現(xiàn)狀。并針對目前備受矚目的開源分布式架構Hadoop進行了相關研究，對Hadoop架構的兩個核心技術——HDFS分布式文件系統(tǒng)與MapReduce

4、編程模型進行了詳盡的研究與分析。此后，闡述了重復記錄刪除的相關知識和基本原理及其相應的處理過程。
　　 其次，根據(jù)Hadoop框架處理數(shù)據(jù)的特點，搭建并配置了基于Hadoop平臺的實驗環(huán)境，重點對完全重復記錄和相似重復記錄檢測所用到算法作了比較深入的研究。以此為基礎，將數(shù)據(jù)根據(jù)關鍵字段進行排序，經(jīng)過一次聚類處理后，再用單機模式對第一次聚類的數(shù)據(jù)再進行一次聚類，實現(xiàn)了對完全重復數(shù)據(jù)以及相似重復數(shù)據(jù)的有效刪除。經(jīng)實驗和實踐驗證，采用