基于Hadoop的電信大數(shù)據(jù)分析的設(shè)計與實現(xiàn).pdf

1、2010國內(nèi)移動互聯(lián)網(wǎng)進入快速發(fā)展階段，但隨著互聯(lián)網(wǎng)公司介入及基于應(yīng)用商店模式的終端廠商的快速加入，電信運營商出現(xiàn)數(shù)據(jù)業(yè)務(wù)收入增速放緩的困境，面臨被管道化的威脅。同時隨著移動互聯(lián)網(wǎng)應(yīng)用的普及化，電信運營商存儲的數(shù)據(jù)規(guī)模從GB級邁向TB級甚至PB級。在商業(yè)競爭中，通過數(shù)據(jù)分析輔助經(jīng)營已成為有效的手段，但傳統(tǒng)的數(shù)據(jù)分析架構(gòu)已經(jīng)不能適應(yīng)這種海量數(shù)據(jù)處理和快速、深度挖掘的需求。Hadoop這種大數(shù)據(jù)處理框架為解決上述問題提供了一種新的思路。

2、r>　　在此背景下本系統(tǒng)的設(shè)計與實現(xiàn)作為陜西電信大數(shù)據(jù)平臺建設(shè)項目的預研。課題通過構(gòu)建處理電信數(shù)據(jù)的 Hadoop平臺系統(tǒng)，探索通過Hadoop平臺的離線技術(shù)實現(xiàn)對每日百億級數(shù)據(jù)的清洗、分析和挖掘的可行性；建立仿真的BI前端系統(tǒng)通過上述處理的數(shù)據(jù)進行套餐的分析，優(yōu)化流量套餐設(shè)計；實現(xiàn)從訪問、搜索、通話時長、短信使用量等行為構(gòu)建了用戶分析體系，多維度定位用戶興趣偏好并形成客戶畫像；為電信服務(wù)部門建立決策系統(tǒng)。
　　本文首先分析了Ha

3、doop框架結(jié)構(gòu)以及所用到的HDFS和MapReduce技術(shù)，然后對Hadoop平臺上數(shù)據(jù)的采集，數(shù)據(jù)的存儲進行闡述；重點分析了利用MapReduce技術(shù)進行并行計算的方法；將處理之后的數(shù)據(jù)存放在HDFS文件系統(tǒng)當中，并通過Sqoop組件將處理完的數(shù)據(jù)轉(zhuǎn)存到關(guān)系型數(shù)據(jù)庫中。本系統(tǒng)的前端BI設(shè)計采用J2EE的開發(fā)框架，并進行了詳細的設(shè)計，在后臺數(shù)據(jù)處理的基礎(chǔ)上完成了流量監(jiān)控功能、運營支撐功能、客戶畫像功能、決策支持功能，在決策支持功能的實