基于Hadoop平臺(tái)的分布式ETL研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)抽取、轉(zhuǎn)換和加載(Extract-Transform-Load，ETL)是實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域中高質(zhì)量數(shù)據(jù)的關(guān)鍵技術(shù)，也是為高層決策人員提供有效數(shù)據(jù)的核心技術(shù)。將海量數(shù)據(jù)通過(guò)ETL技術(shù)快速的抽取到數(shù)據(jù)倉(cāng)庫(kù)中是當(dāng)前急需解決的重要問(wèn)題，也是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域共同關(guān)注的話(huà)題。
　　本文運(yùn)用數(shù)據(jù)倉(cāng)庫(kù)理論知識(shí)和大數(shù)據(jù)分布式處理技術(shù)，重點(diǎn)研究了分布式ETL框架、數(shù)據(jù)的并行處理和HDFS數(shù)據(jù)塊合理分配的優(yōu)化方法。
　　本文作者主要研究和實(shí)現(xiàn)的工

2、作如下:
　　第一，分布式ETL框架的設(shè)計(jì)。分析Hadoop平臺(tái)下的MapReduce工作機(jī)制和作業(yè)調(diào)度，以數(shù)據(jù)倉(cāng)庫(kù)中維度建模的理論為依據(jù)，設(shè)計(jì)了一個(gè)包括維度和事實(shí)的并行處理和HDFS數(shù)據(jù)塊分配的分布式ETL框架。
　　第二，事實(shí)并行處理的研究。從事實(shí)表查找代理鍵和多粒度事實(shí)預(yù)聚合兩個(gè)角度著手，提出了在漸變維度表上的多路并行查找算法和在不同粒度上對(duì)事實(shí)數(shù)據(jù)進(jìn)行聚合的算法。實(shí)驗(yàn)結(jié)果表明，與Hive數(shù)據(jù)倉(cāng)庫(kù)相比，兩種算法在并行處

3、理數(shù)據(jù)倉(cāng)庫(kù)的事實(shí)數(shù)據(jù)的問(wèn)題上，具有更高的效率。
　　第三，HDFS數(shù)據(jù)塊分配算法的研究。以網(wǎng)絡(luò)流最小代價(jià)最大流理論為基礎(chǔ)，運(yùn)用改進(jìn)的最短增廣路徑的方法求解最大流，以結(jié)點(diǎn)的網(wǎng)絡(luò)距離和負(fù)載均衡為代價(jià)，提出了一種把HDFS數(shù)據(jù)塊分配到分布式數(shù)據(jù)倉(cāng)庫(kù)的分配算法。通過(guò)實(shí)驗(yàn)表明，本文提出的分配算法與已有算法相比，前者具有更高的有效性。
　　最后本文給出了基于Hadoop平臺(tái)的分布式ETL系統(tǒng)的實(shí)現(xiàn)過(guò)程，性能優(yōu)于目前已存在的分布式ETL系