基于Spark的分布式ETL研究與應(yīng)用.pdf

1、大數(shù)據(jù)時代，越來越多的數(shù)據(jù)需要被人們處理和使用。對于企業(yè)來說，數(shù)據(jù)已經(jīng)成為企業(yè)的生存基礎(chǔ)，能否利用好自己的數(shù)據(jù)對企業(yè)的未來發(fā)展至關(guān)重要。數(shù)據(jù)倉庫技術(shù)為企業(yè)分析海量數(shù)據(jù)提供了一種有效方案，而在數(shù)據(jù)倉庫的構(gòu)建過程中，ETL往往是整個過程中最為耗時和復(fù)雜的階段。處理數(shù)據(jù)量的日益增長，對ETL技術(shù)提出了更高的性能要求，也帶來了更大的挑戰(zhàn)。
　　為了應(yīng)對海量數(shù)據(jù)的ETL處理需求，基于分布式并行技術(shù)進(jìn)行ETL很有必要。當(dāng)前基于MapReduc

2、e范型實現(xiàn)的分布式ETL方案能夠?qū)崿F(xiàn)海量數(shù)據(jù)的高效處理，但是由于MapReduce編程模型的限制，即只有Map/Reduce兩種處理方式，以及多步的處理過程中存在的高I/O開銷，使其在ETL的轉(zhuǎn)換過程中存在一些性能問題，處理效率和處理速度方面還有許多優(yōu)化空間。
　　針對大數(shù)據(jù)的“海量”特征，以及基于MapReduce范型實現(xiàn)的分布式ETL方案的局限性，本文結(jié)合數(shù)據(jù)倉庫理論知識和分布式處理技術(shù)，基于Spark對分布式并行ETL技術(shù)進(jìn)

3、行了研究，提出了一種分布式ETL的設(shè)計方案，重點研究了數(shù)據(jù)轉(zhuǎn)換過程中轉(zhuǎn)換處理的并行實現(xiàn)，根據(jù)不同的轉(zhuǎn)換處理類型給出了適用的解決方法。針對前期非聚集操作，如基本的數(shù)據(jù)清洗，數(shù)據(jù)格式標(biāo)準(zhǔn)化操作，提出了基于分區(qū)的并行管道處理算法，以分區(qū)為單位進(jìn)行數(shù)據(jù)處理，從而提高數(shù)據(jù)轉(zhuǎn)換的效率；對于聚集操作，如事實表的數(shù)值數(shù)據(jù)的聚合操作，采用了分區(qū)預(yù)聚合方法，以減少數(shù)據(jù)傳輸頻率。實驗結(jié)果表明，提出的方法能夠明顯加速大數(shù)據(jù)量的轉(zhuǎn)換處理，進(jìn)而提高分布式ETL的性

4、能和處理效率。
　　之后本文對基于Spark的數(shù)據(jù)處理流程進(jìn)行了性能優(yōu)化研究。詳細(xì)分析了Spark在處理中的常見數(shù)據(jù)傾斜問題，根據(jù)不同場景下的數(shù)據(jù)傾斜情況，分別給出了對應(yīng)的并行調(diào)優(yōu)策略。相關(guān)實驗表明了調(diào)優(yōu)策略的有效性。
　　最后，基于一個實際的決策支持系統(tǒng)開發(fā)，闡述了基于Spark的分布式ETL的設(shè)計與應(yīng)用情況，包括與傳統(tǒng)ETL開發(fā)方案的比較分析，分析結(jié)果表明了本文提出的基于Spark的分布式ETL方案的有效性和高可擴展性。