基于Hadoop的數(shù)據(jù)倉庫構(gòu)建方法的研究.pdf

1、目前基于Hadoop/Hive的數(shù)據(jù)倉庫 ETL理論方面的研究相對較少，并且缺乏用于構(gòu)建Hadoop/Hive數(shù)據(jù)倉庫的成熟的第三方ETL工具?，F(xiàn)有的Hive在輔助用戶實現(xiàn)云數(shù)據(jù)倉庫的 ETL過程時，基本是“一對一(case-to-case)”模式。此種模式需要較多的人工干預(yù)，不適合大數(shù)據(jù)的ETL過程。
　　本文的創(chuàng)新工作有三個方面：
　　1)針對目前基于Hadoop的數(shù)據(jù)倉庫一般采用“一對一”的模式構(gòu)建的情況，提出一種新的

2、 Hadoop/Hive數(shù)據(jù)倉庫的構(gòu)建模式，即“元數(shù)據(jù)驅(qū)動的生成器模式”，用于構(gòu)建基于Hadoop/Hive的數(shù)據(jù)倉庫。該模式具有兩點優(yōu)勢：一是由元數(shù)據(jù)驅(qū)動，充分發(fā)揮了關(guān)系數(shù)據(jù)庫管理系統(tǒng)對元數(shù)據(jù)操作的效率優(yōu)勢；二是識別了“通用知識”和“具體對象知識”兩類知識，并在對知識的分類基礎(chǔ)上設(shè)計和實現(xiàn) ETL過程，消除了“一對一”模式下大量不必要的重復(fù)操作。
　　2)根據(jù)“元數(shù)據(jù)驅(qū)動的生成器模式”，將傳統(tǒng)數(shù)據(jù)倉庫技術(shù)與Hadoop數(shù)據(jù)倉庫技

3、術(shù)進(jìn)行結(jié)合，提出了Hadoop數(shù)據(jù)倉庫ETL的系統(tǒng)框架，根據(jù)該框架獨立自主開發(fā)了構(gòu)建Hadoop/Hive的數(shù)據(jù)倉庫的ETL工具，并使用該工具建立了一實際的數(shù)據(jù)倉庫，對該數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行了數(shù)據(jù)挖掘的演示。
　　3)定義了Hadoop/Hive數(shù)據(jù)倉庫ETL過程中HiveQL語句中出現(xiàn)的兩類知識：“通用對象知識”和“特定對象知識”。
　　本文對上述創(chuàng)新結(jié)果進(jìn)行了實驗驗證。實驗結(jié)果顯示，上述“生成器模式”和所開發(fā)的ETL工具能