大數(shù)據(jù)時(shí)代的移動(dòng)通信數(shù)據(jù)經(jīng)營(yíng)支撐體系.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展、智能手機(jī)的迅速普及，用戶對(duì)數(shù)據(jù)流量業(yè)務(wù)的需求呈爆發(fā)式增長(zhǎng)，流量經(jīng)營(yíng)成為未來(lái)發(fā)展高地。支撐系統(tǒng)需要在海量的數(shù)據(jù)中進(jìn)行深度的分析，研究規(guī)律，掌握用戶使用行為，挖掘使用需求，為業(yè)務(wù)發(fā)展提供科學(xué)的支撐。
　　通信數(shù)據(jù)經(jīng)營(yíng)支撐系統(tǒng)通過 DPI協(xié)議分析、爬蟲等各類技術(shù)，將數(shù)以億計(jì)的網(wǎng)絡(luò)側(cè)話單、報(bào)文等的各種源數(shù)據(jù)進(jìn)行解析，獲取所需的用戶上網(wǎng)行為及特征信息，分類后輸出為相應(yīng)模型數(shù)據(jù)，并分發(fā)至各個(gè)系統(tǒng)，提供給各種渠道的界面

2、作展示，或?qū)⑾嚓P(guān)的營(yíng)銷信息推送給用戶。
　　而在移動(dòng)數(shù)據(jù)使用量激增、分析模型日趨復(fù)雜的情況下，傳統(tǒng)基于DB2架構(gòu)已經(jīng)難以滿足如此大數(shù)據(jù)量的系統(tǒng)支撐需求。本文通過研究Hadoop和Spark這兩種大數(shù)據(jù)技術(shù)的應(yīng)用場(chǎng)景、生態(tài)系統(tǒng)、關(guān)鍵技術(shù)等，結(jié)合系統(tǒng)自身數(shù)據(jù)量大，迭代運(yùn)算較多的特點(diǎn)以及存儲(chǔ)分析的用途，采用Spark以及Hadoop生態(tài)組件的深度優(yōu)化、整合，設(shè)計(jì)了基于Spark作為運(yùn)算核心，以HDFS作為存儲(chǔ)，選取Sparkon Yar