Hadoop大數(shù)據(jù)平臺(tái)的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作研究.pdf

1、隨著Hadoop技術(shù)的發(fā)展，從最初為Google、Facebook等公司解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題，到現(xiàn)在被越來(lái)越多企業(yè)用來(lái)處理大數(shù)據(jù)，企業(yè)已經(jīng)建設(shè)好的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)地位受到了挑戰(zhàn)。本文重點(diǎn)研究Hadoop與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)（如無(wú)特殊說(shuō)明，本文提及的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)皆指單節(jié)點(diǎn)的關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)）如何進(jìn)行協(xié)作、分工，進(jìn)行數(shù)據(jù)采集、傳輸、存儲(chǔ)、處理等工作。在已有傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上提供Hadoop的支持，彌補(bǔ)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)在海量數(shù)據(jù)處理、存儲(chǔ)等方面的不足，也

2、可以依靠Hadoop的橫向擴(kuò)展能力突破單節(jié)點(diǎn)的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)在存儲(chǔ)和計(jì)算能力上的瓶頸。
　　本文根據(jù)現(xiàn)今傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用情況及Hadoop大數(shù)據(jù)平臺(tái)的前景預(yù)測(cè)，針對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)已無(wú)法滿足大多數(shù)用戶需求的問(wèn)題，提出了Hadoop與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)協(xié)作的新架構(gòu)后，重點(diǎn)針對(duì)Hadoop與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)之間協(xié)作的可行性進(jìn)行研究。新架構(gòu)源于Cloudera和Teradata的工程師們提出的Hadoop與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)協(xié)作的設(shè)想方案，本文將新構(gòu)架分為

3、三大模塊:數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)應(yīng)用，主要考慮結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲(chǔ)和應(yīng)用問(wèn)題，研究Hadoop與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)應(yīng)用方面的協(xié)作可行性。針對(duì)數(shù)據(jù)采集和傳輸問(wèn)題，本文采用Apache的Sqoop技術(shù)解決;而數(shù)據(jù)存儲(chǔ)問(wèn)題則依靠Hadoop集群的HDFS文件系統(tǒng)和Hive數(shù)據(jù)倉(cāng)庫(kù)，同時(shí)也介紹了在Hive中的數(shù)據(jù)應(yīng)用，最后通過(guò)原型系統(tǒng)驗(yàn)證了所設(shè)計(jì)架構(gòu)的可行性。
　　本文基于現(xiàn)今企業(yè)對(duì)大數(shù)據(jù)平臺(tái)的需求，同時(shí)也考慮到企