Hadoop大數(shù)據(jù)平臺的傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作研究.pdf

1、隨著Hadoop技術(shù)的發(fā)展，從最初為Google、Facebook等公司解決海量數(shù)據(jù)的存儲問題，到現(xiàn)在被越來越多企業(yè)用來處理大數(shù)據(jù)，企業(yè)已經(jīng)建設(shè)好的傳統(tǒng)數(shù)據(jù)倉庫地位受到了挑戰(zhàn)。本文重點研究Hadoop與傳統(tǒng)數(shù)據(jù)倉庫（如無特殊說明，本文提及的傳統(tǒng)數(shù)據(jù)倉庫皆指單節(jié)點的關(guān)系型數(shù)據(jù)倉庫）如何進行協(xié)作、分工，進行數(shù)據(jù)采集、傳輸、存儲、處理等工作。在已有傳統(tǒng)數(shù)據(jù)倉庫的基礎(chǔ)上提供Hadoop的支持，彌補傳統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)處理、存儲等方面的不足，也

2、可以依靠Hadoop的橫向擴展能力突破單節(jié)點的傳統(tǒng)數(shù)據(jù)倉庫在存儲和計算能力上的瓶頸。
　　本文根據(jù)現(xiàn)今傳統(tǒng)數(shù)據(jù)倉庫的應(yīng)用情況及Hadoop大數(shù)據(jù)平臺的前景預(yù)測，針對傳統(tǒng)數(shù)據(jù)倉庫已無法滿足大多數(shù)用戶需求的問題，提出了Hadoop與傳統(tǒng)數(shù)據(jù)倉庫協(xié)作的新架構(gòu)后，重點針對Hadoop與傳統(tǒng)數(shù)據(jù)倉庫之間協(xié)作的可行性進行研究。新架構(gòu)源于Cloudera和Teradata的工程師們提出的Hadoop與傳統(tǒng)數(shù)據(jù)倉庫協(xié)作的設(shè)想方案，本文將新構(gòu)架分為

3、三大模塊:數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)應(yīng)用，主要考慮結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲和應(yīng)用問題，研究Hadoop與傳統(tǒng)數(shù)據(jù)倉庫在數(shù)據(jù)存儲和數(shù)據(jù)應(yīng)用方面的協(xié)作可行性。針對數(shù)據(jù)采集和傳輸問題，本文采用Apache的Sqoop技術(shù)解決;而數(shù)據(jù)存儲問題則依靠Hadoop集群的HDFS文件系統(tǒng)和Hive數(shù)據(jù)倉庫，同時也介紹了在Hive中的數(shù)據(jù)應(yīng)用，最后通過原型系統(tǒng)驗證了所設(shè)計架構(gòu)的可行性。
　　本文基于現(xiàn)今企業(yè)對大數(shù)據(jù)平臺的需求，同時也考慮到企