基于Hadoop的電信大數(shù)據(jù)分析的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、2010國內(nèi)移動(dòng)互聯(lián)網(wǎng)進(jìn)入快速發(fā)展階段，但隨著互聯(lián)網(wǎng)公司介入及基于應(yīng)用商店模式的終端廠商的快速加入，電信運(yùn)營商出現(xiàn)數(shù)據(jù)業(yè)務(wù)收入增速放緩的困境，面臨被管道化的威脅。同時(shí)隨著移動(dòng)互聯(lián)網(wǎng)應(yīng)用的普及化，電信運(yùn)營商存儲(chǔ)的數(shù)據(jù)規(guī)模從GB級(jí)邁向TB級(jí)甚至PB級(jí)。在商業(yè)競爭中，通過數(shù)據(jù)分析輔助經(jīng)營已成為有效的手段，但傳統(tǒng)的數(shù)據(jù)分析架構(gòu)已經(jīng)不能適應(yīng)這種海量數(shù)據(jù)處理和快速、深度挖掘的需求。Hadoop這種大數(shù)據(jù)處理框架為解決上述問題提供了一種新的思路。

2、r>　　在此背景下本系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)作為陜西電信大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目的預(yù)研。課題通過構(gòu)建處理電信數(shù)據(jù)的 Hadoop平臺(tái)系統(tǒng)，探索通過Hadoop平臺(tái)的離線技術(shù)實(shí)現(xiàn)對(duì)每日百億級(jí)數(shù)據(jù)的清洗、分析和挖掘的可行性；建立仿真的BI前端系統(tǒng)通過上述處理的數(shù)據(jù)進(jìn)行套餐的分析，優(yōu)化流量套餐設(shè)計(jì)；實(shí)現(xiàn)從訪問、搜索、通話時(shí)長、短信使用量等行為構(gòu)建了用戶分析體系，多維度定位用戶興趣偏好并形成客戶畫像；為電信服務(wù)部門建立決策系統(tǒng)。
　　本文首先分析了Ha

3、doop框架結(jié)構(gòu)以及所用到的HDFS和MapReduce技術(shù)，然后對(duì)Hadoop平臺(tái)上數(shù)據(jù)的采集，數(shù)據(jù)的存儲(chǔ)進(jìn)行闡述；重點(diǎn)分析了利用MapReduce技術(shù)進(jìn)行并行計(jì)算的方法；將處理之后的數(shù)據(jù)存放在HDFS文件系統(tǒng)當(dāng)中，并通過Sqoop組件將處理完的數(shù)據(jù)轉(zhuǎn)存到關(guān)系型數(shù)據(jù)庫中。本系統(tǒng)的前端BI設(shè)計(jì)采用J2EE的開發(fā)框架，并進(jìn)行了詳細(xì)的設(shè)計(jì)，在后臺(tái)數(shù)據(jù)處理的基礎(chǔ)上完成了流量監(jiān)控功能、運(yùn)營支撐功能、客戶畫像功能、決策支持功能，在決策支持功能的實(shí)