大數據清洗系統中優(yōu)化技術的研究與實現.pdf

1、隨著IT技術的發(fā)展，信息數據充滿著現代生活的每一個角落，大數據時代的來臨更使得這些數據更為耀眼。人們瘋狂地從數據中汲取營養(yǎng)的同時，數據質量問題也逐漸暴露出來，例如數據冗余、數據不一致、錯誤數據、缺失數據等。因此數據質量在大數據時代顯得尤為重要，海量信息的數據清洗與容錯管理系統應運而生?，F有的對海量數據處理的信息系統一般都運行在時下最流行的開源框架Hadoop上，但是由于各種各樣的原因，往往效率低下。
　　數據質量問題會對大數據的應

2、用產生致命影響，因此需要對存在數據質量問題的大數據進行清洗。MapReduce編程框架可以利用并行技術實現高可擴展性的大數據清洗，然而，由于缺乏有效的設計，在基于MapReduce的數據清洗過程中存在計算的冗余，導致性能的降低。因此本文的目的是對并行數據清洗過程進行優(yōu)化從而提高效率。
　　本文做出了如下工作。首先，通過研究發(fā)現數據清洗中一些任務往往都運行在同一輸入文件上或者利用同樣的運算結果，基于該發(fā)現本文提出了一種新的優(yōu)化技術—

3、—基于任務合并的優(yōu)化技術。針對冗余計算和利用同一輸入文件的簡單計算進行合并，通過這種合并可以減少MapReduce的輪數從而減少系統運行的時間，最終達到系統優(yōu)化的目標。第二，本文提出的FLI三層體系讓我們從一個系統優(yōu)化的視角去分析軟件系統，和基于任務合并的優(yōu)化技術一道，建立了一整套從系統分析到具體實施的數據清洗優(yōu)化理論。第三，本文針對數據清洗過程中多個復雜的模塊進行了優(yōu)化，具體來說分別對實體識別模塊、不一致數據修復模塊和缺失值填充模塊進