基于hadoop應(yīng)用的營銷活動案研究

1、電腦編程技巧與維護基于Hadoop應(yīng)用的營銷活動案研究王歡美(亞信聯(lián)創(chuàng)科技(成都)有限公司，武漢430014)摘要：隨著電信行業(yè)的迅速發(fā)展，數(shù)據(jù)源呈現(xiàn)多樣化、多渠道的趨勢，存儲的數(shù)據(jù)達到PB級別，傳統(tǒng)意義上的數(shù)據(jù)倉庫已經(jīng)無法應(yīng)對大數(shù)據(jù)激增的挑戰(zhàn)。Hadoop的應(yīng)運而生帶來新的希望，以低廉的成本，通過分布式集群架構(gòu)使傳統(tǒng)的數(shù)據(jù)倉庫不能解決的非結(jié)構(gòu)化數(shù)據(jù)問題得到很好的處理，深度挖掘現(xiàn)有支撐系統(tǒng)沉淀下來的信息，進行適當抽取，助力業(yè)務(wù)系統(tǒng)的進一

2、步發(fā)展，提升用戶的體驗和感知，促進整個電信產(chǎn)業(yè)鏈的共贏。關(guān)鍵詞：Hadoop文件系統(tǒng)；HDFS文件系統(tǒng)；MapReduce模型；Hive架構(gòu)；營銷活動TheResearchofMarketingactivityCaseBasedontheHadoopWANGHuanmei(Asiainfo—Linkage，Wuhan430014，China)Abstract：Witlltherapiddevelopmentofthetelecommun

3、icationsindustry，thedatasourcearediversified，multi—channeltrend，thestoreddatauptothelevelofPB，thedatawarehouseinthetraditionalsensehavebeenunabletodealwithlargedatasurgechallengeHadoopemergedasthetimesrequirebroughtnewho

4、petoUS，withthelowcost，thedistributedclusterarchitecturemakesthetraditionalproblemsofunstructureddatawarehouseiSsolvedwel1tIledepthofexcavationsuppo~systemtosettletheexistinginformation，appropriatelyextracted，thefurtherde

5、velopmentofbusinesssystem，improvingtheuserexperienceandperception，finallypromotingthetelecomindustrychainandwin—winKeywords：Hadoopfilesystem；HDFSfilesystem；MapReducemodel；Hiveframework；Marketingactivityl引言隨著互聯(lián)網(wǎng)和電信行業(yè)的快速發(fā)展

6、，人們之間的交流變得信息化、頻繁化、多樣化。營銷活動案就是通過分析已經(jīng)產(chǎn)生的數(shù)據(jù)信息提出新的活動方案，促進電信業(yè)務(wù)的發(fā)展。如何能從大量的信息中抽取有價值的信息，為客戶提供更好的服務(wù)。已經(jīng)成為市場營銷部門的核心問題。介于Hadoop的分布式處理機制能高效實現(xiàn)大數(shù)據(jù)量的處理，抽取有用數(shù)據(jù)，為營銷活動的進行提供有力的支撐。Hadoop和Hive中的幾個重要的概念和思想介紹如下：MapReduce編程模型是Google公司為了在廉價的計算機集群

7、上處理以P數(shù)量級的大數(shù)據(jù)集而提出的一個解決方案_l_。它的核心概念是把輸入的數(shù)據(jù)分成不同的邏輯塊，Map任務(wù)首先并行的對每一塊進行單獨的處理：這些邏輯塊的處理結(jié)果會被重新組合成不同的排序的集合，這些集合最后由Reduce任務(wù)進行處理：HDFS是專門為MapReduce任務(wù)所設(shè)計的文件系統(tǒng)。MapReduce任務(wù)從HDFS文件系統(tǒng)中讀人大數(shù)量級的數(shù)據(jù)進行處理，處理完后把輸出寫回到HDFS文件系統(tǒng)[21。Hive是建立在Hadoop上的數(shù)據(jù)

8、倉庫基礎(chǔ)架構(gòu)，它提供一系列的根據(jù)，可以進行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，它是一種可以存儲、查詢和分析存儲在Hadoop的大規(guī)模數(shù)據(jù)的機制日。2基于Hadoop應(yīng)用的營銷活動案的數(shù)據(jù)倉庫體系結(jié)構(gòu)營銷活動案的數(shù)據(jù)倉庫設(shè)計是基于Hadoop分布式的文件系統(tǒng)目的是實現(xiàn)營銷活動案信息數(shù)據(jù)的分布式存儲，以滿足不斷增長的客戶信息的備份等需求。營銷活動案數(shù)據(jù)倉庫：20131630氅舔_l蛐確溆鶿與罐《弗礦體系的結(jié)構(gòu)有以下幾部分組成：Hadoop集群，元數(shù)

9、據(jù)存儲集群，Web服務(wù)器，日志服務(wù)器。如圖1所示。一數(shù)據(jù)獲取一數(shù)據(jù)獲取——戶信息數(shù)據(jù)廣_『————]數(shù)據(jù)倉庫廣———T]數(shù)據(jù)應(yīng)用(營銷)圖1營銷活動案數(shù)據(jù)倉庫體系結(jié)構(gòu)21文件存儲客戶信息的文件存儲是基于Hadoop的分布式文件系統(tǒng)fHDFS)，HDFS是分布式計算的存儲基礎(chǔ)，可以部署在普通的PCServer上，存放超大文件(幾百MB甚至是幾百PB)，采用流式處理數(shù)據(jù)。因此適合信息量大，一次寫入多次讀取的存取方式。Hadoop生產(chǎn)集群部署