大數(shù)據(jù)清洗系統(tǒng)中優(yōu)化技術的研究與實現(xiàn).pdf

1、隨著IT技術的發(fā)展，信息數(shù)據(jù)充滿著現(xiàn)代生活的每一個角落，大數(shù)據(jù)時代的來臨更使得這些數(shù)據(jù)更為耀眼。人們瘋狂地從數(shù)據(jù)中汲取營養(yǎng)的同時，數(shù)據(jù)質量問題也逐漸暴露出來，例如數(shù)據(jù)冗余、數(shù)據(jù)不一致、錯誤數(shù)據(jù)、缺失數(shù)據(jù)等。因此數(shù)據(jù)質量在大數(shù)據(jù)時代顯得尤為重要，海量信息的數(shù)據(jù)清洗與容錯管理系統(tǒng)應運而生?，F(xiàn)有的對海量數(shù)據(jù)處理的信息系統(tǒng)一般都運行在時下最流行的開源框架Hadoop上，但是由于各種各樣的原因，往往效率低下。
　　數(shù)據(jù)質量問題會對大數(shù)據(jù)的應

2、用產(chǎn)生致命影響，因此需要對存在數(shù)據(jù)質量問題的大數(shù)據(jù)進行清洗。MapReduce編程框架可以利用并行技術實現(xiàn)高可擴展性的大數(shù)據(jù)清洗，然而，由于缺乏有效的設計，在基于MapReduce的數(shù)據(jù)清洗過程中存在計算的冗余，導致性能的降低。因此本文的目的是對并行數(shù)據(jù)清洗過程進行優(yōu)化從而提高效率。
　　本文做出了如下工作。首先，通過研究發(fā)現(xiàn)數(shù)據(jù)清洗中一些任務往往都運行在同一輸入文件上或者利用同樣的運算結果，基于該發(fā)現(xiàn)本文提出了一種新的優(yōu)化技術—

3、—基于任務合并的優(yōu)化技術。針對冗余計算和利用同一輸入文件的簡單計算進行合并，通過這種合并可以減少MapReduce的輪數(shù)從而減少系統(tǒng)運行的時間，最終達到系統(tǒng)優(yōu)化的目標。第二，本文提出的FLI三層體系讓我們從一個系統(tǒng)優(yōu)化的視角去分析軟件系統(tǒng)，和基于任務合并的優(yōu)化技術一道，建立了一整套從系統(tǒng)分析到具體實施的數(shù)據(jù)清洗優(yōu)化理論。第三，本文針對數(shù)據(jù)清洗過程中多個復雜的模塊進行了優(yōu)化，具體來說分別對實體識別模塊、不一致數(shù)據(jù)修復模塊和缺失值填充模塊進