基于Hadoop平臺構(gòu)建數(shù)據(jù)倉庫關(guān)鍵技術(shù)的研究.pdf

1、數(shù)據(jù)倉庫可以幫助企業(yè)快速而正確的做出決策，它提供了一種有效的訪問這些數(shù)據(jù)的方法，有統(tǒng)計資料表明，企業(yè)數(shù)據(jù)每18個月翻一番，企業(yè)在海量數(shù)據(jù)的包圍之中，倘若只利用傳統(tǒng)的數(shù)據(jù)庫MySQL、Oracle構(gòu)建數(shù)據(jù)倉庫，會出現(xiàn)諸如：數(shù)據(jù)庫性能、資源、主機(jī)、網(wǎng)絡(luò)等多種問題。
　　海量數(shù)據(jù)的出現(xiàn)，數(shù)據(jù)的指數(shù)級增長向世界互聯(lián)網(wǎng)巨頭 Google、Yahoo、Amazon和Microsoft等這些處于市場領(lǐng)導(dǎo)地位的公司提出了挑戰(zhàn)。它們需要分析TB級和

2、PB級的海量數(shù)據(jù)以發(fā)現(xiàn)有價值的信息推薦給那些有潛在需求的人群，使得 Hadoop分布式/并行處理技術(shù)得到快速的發(fā)展，Hadoop平臺的數(shù)據(jù)倉庫Hive也被用于構(gòu)建它們的數(shù)據(jù)倉庫，來解決單獨運用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫構(gòu)建數(shù)據(jù)倉庫平臺所遇到的問題。現(xiàn)有的工具正變得無力處理如此大的數(shù)據(jù)集，Google率先推出了MapReduce編程模型，這是Google公司為了在廉價的計算機(jī)集群上來存儲并處理PB級的數(shù)據(jù)而提出的一種解決方案。企業(yè)擁有數(shù)據(jù)指數(shù)級的

3、增長，以及 Hadoop生態(tài)系統(tǒng)的不短完善，使得用Hadoop平臺構(gòu)建數(shù)據(jù)倉庫得到了較快的發(fā)展。
　　隨著企業(yè)數(shù)據(jù)量的日益增長，特別是信息時代的到來，移動設(shè)備、PC以及物聯(lián)網(wǎng)等的迅速發(fā)展，各領(lǐng)域企業(yè)所需維護(hù)的數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，對這些數(shù)據(jù)進(jìn)行分析主要是依賴企業(yè)已經(jīng)創(chuàng)建的數(shù)據(jù)倉庫。現(xiàn)有單獨依靠關(guān)系型數(shù)據(jù)庫構(gòu)建的數(shù)據(jù)倉庫不足以支撐海量數(shù)據(jù)下的存儲、處理以及分析。
　　本文針對現(xiàn)有這種類型的數(shù)據(jù)倉庫的不足，在原有關(guān)系型數(shù)據(jù)倉庫的基

4、礎(chǔ)之上，提出基于 Hadoop平臺的數(shù)據(jù)倉庫，以為了更好的利用傳統(tǒng)數(shù)據(jù)庫計算性能以及Hadoop平臺處理海量數(shù)據(jù)的能力。而Hive是基于Hadoop的數(shù)據(jù)倉庫平臺，它是互聯(lián)網(wǎng)領(lǐng)域應(yīng)用最為廣泛的開源數(shù)據(jù)倉庫，由于它在擴(kuò)展性和容錯性方面有強大的優(yōu)勢，現(xiàn)已被各大互聯(lián)網(wǎng)公司使用，以構(gòu)建其數(shù)據(jù)倉庫，有著較好的發(fā)展前景以及使用價值。
　　本文運用 Hadoop平臺構(gòu)建了一個異構(gòu)型的數(shù)據(jù)倉庫，在此基礎(chǔ)之上，對數(shù)據(jù)倉庫的模型進(jìn)行了研究，設(shè)計了一種