基于數(shù)據(jù)倉庫與Hadoop的移動(dòng)廣告平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，應(yīng)用軟件采集數(shù)據(jù)的途徑更加廣泛，需要處理的數(shù)據(jù)規(guī)模也達(dá)到了前所未有的級(jí)別，這給傳統(tǒng)數(shù)據(jù)倉庫帶來了很大挑戰(zhàn)，要想充分挖掘這些海量數(shù)據(jù)，僅靠傳統(tǒng)數(shù)據(jù)倉庫的運(yùn)算處理能力是達(dá)不到的。分布式處理框架Hadoop的誕生突破了這一瓶頸，通過框架內(nèi) HDFS和 MapReduce兩大部分提供的數(shù)據(jù)存儲(chǔ)及計(jì)算能力，充分利用集群優(yōu)勢(shì)，對(duì)海量數(shù)據(jù)進(jìn)行高效快速的并行處理，彌補(bǔ)了傳統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)存儲(chǔ)和運(yùn)算方面的不足。
　　本

2、文在分析了傳統(tǒng)數(shù)據(jù)倉庫方案和Hadoop方案在進(jìn)行數(shù)據(jù)處理時(shí)的優(yōu)缺點(diǎn)之后，提出了讓兩者相互協(xié)作的解決方案，并基于此方案構(gòu)建了移動(dòng)廣告平臺(tái)的數(shù)據(jù)分析系統(tǒng)。一方面采用傳統(tǒng)數(shù)據(jù)倉庫 PostgreSQL處理數(shù)據(jù)量不大且結(jié)構(gòu)化的表數(shù)據(jù)，另一方面用Hadoop集群中的數(shù)據(jù)倉庫Hive處理半結(jié)構(gòu)化大數(shù)據(jù)量的Web日志數(shù)據(jù)。整個(gè)系統(tǒng)分為了部署環(huán)境、同步數(shù)據(jù)、定制統(tǒng)計(jì)分析任務(wù)、調(diào)度任務(wù)、查詢報(bào)表五個(gè)功能模塊，分別從數(shù)據(jù)倉庫和Hadoop兩個(gè)方面介紹如何

3、設(shè)計(jì)和實(shí)現(xiàn)它們。其中系統(tǒng)主要解決了以下幾個(gè)問題：
　?。?）異構(gòu)數(shù)據(jù)同步問題。利用ETL工具Kettle對(duì)多臺(tái)服務(wù)器上的MySQL庫里的數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換，消除不一致性后，按照一定的業(yè)務(wù)邏輯載入到目標(biāo)數(shù)據(jù)倉庫PostgreSQL。
　?。?）大數(shù)據(jù)量時(shí)的數(shù)據(jù)分析效率問題。利用Hive高效的處理系統(tǒng)中的龐大的Web日志數(shù)據(jù)，因?yàn)?Hive是構(gòu)建在 Hadoop之上，它能自動(dòng)將寫好的Hive任務(wù)解析成MapReduce運(yùn)行

4、，從而利用Hadoop集群并行處理任務(wù)，提高了數(shù)據(jù)分析的效率。
　?。?）高效率低成本的進(jìn)行 PostgreSQL和 Hadoop集群之間數(shù)據(jù)傳輸問題。Sqoop是款開源的數(shù)據(jù)傳輸工具，主要用于關(guān)系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)傳輸，專為大數(shù)據(jù)批量傳輸而設(shè)計(jì)，能夠?qū)Υ髷?shù)據(jù)進(jìn)行分割形成區(qū)塊，并創(chuàng)建Hadoop任務(wù)來并行處理每個(gè)區(qū)塊，從而高效的實(shí)現(xiàn)PostgreSQL和Hadoop集群之間數(shù)據(jù)的傳輸。
　?。?）數(shù)據(jù)安全性和權(quán)

5、限控制問題。系統(tǒng)中除數(shù)據(jù)分析人員外，都不能直接訪問數(shù)據(jù)庫，只能通過網(wǎng)站提供的報(bào)表查詢頁面來查詢報(bào)表，針對(duì)不同的用戶或不同的報(bào)表，系統(tǒng)將返回不同的報(bào)表查詢結(jié)果給用戶，這樣做的好處一來是提高了數(shù)據(jù)庫的安全性，二來控制了用戶查看報(bào)表的權(quán)限。
　　本文考慮到了現(xiàn)有系統(tǒng)對(duì)大數(shù)據(jù)技術(shù)的需求，從而引進(jìn)了Hadoop技術(shù)，同時(shí)又要保證對(duì)系統(tǒng)已有的數(shù)據(jù)倉庫進(jìn)行重用，故保留了原有的數(shù)據(jù)倉庫系統(tǒng)。設(shè)計(jì)和實(shí)現(xiàn)了兩者相互協(xié)作的移動(dòng)廣告平臺(tái)數(shù)據(jù)分析系統(tǒng)，并在