基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、目前運(yùn)營(yíng)商的網(wǎng)絡(luò)建設(shè)的逐步成熟，3G業(yè)務(wù)的快速發(fā)展，網(wǎng)絡(luò)質(zhì)量的好壞已成為電信運(yùn)營(yíng)商關(guān)注的重要課題，如何保證網(wǎng)絡(luò)的高質(zhì)量，已成為最重要的運(yùn)營(yíng)商網(wǎng)絡(luò)優(yōu)化工作。要滿足這些需求就需要分析大量的數(shù)據(jù)，電信的無(wú)線PCMD話單和業(yè)務(wù)話單每天的數(shù)據(jù)量上TB級(jí)，原來(lái)的網(wǎng)絡(luò)優(yōu)化平臺(tái)由于架構(gòu)上的限制對(duì)如此大的數(shù)據(jù)量越來(lái)越力不從心。為了對(duì)海量的數(shù)據(jù)進(jìn)行分析處理，快速查詢統(tǒng)計(jì)達(dá)到對(duì)網(wǎng)絡(luò)情況精確了解，進(jìn)行精準(zhǔn)網(wǎng)絡(luò)優(yōu)化，因此建立一個(gè)大數(shù)據(jù)分析平臺(tái)勢(shì)在必行。Hadoo

2、p[1]架構(gòu)是業(yè)內(nèi)公認(rèn)的處理海量數(shù)據(jù)的高性價(jià)比解決方案。這個(gè)方案提供了一種可以構(gòu)建在普通PC服務(wù)器上的高可用性、高性能的分布式計(jì)算和存儲(chǔ)的方法。尤其適合于日志分析。因此開(kāi)發(fā)一套基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺(tái)是電信網(wǎng)絡(luò)優(yōu)化部門(mén)的很好的選擇。
　　本文首先介紹了當(dāng)前的Hadoop技術(shù)的發(fā)展現(xiàn)狀，介紹了Hadoop技術(shù)及相關(guān)組件。重點(diǎn)對(duì)HDFS[2]，YARN[3]，Mapreduce[4]，Hive[5]，HBase[6]的

3、工作原理進(jìn)行的介紹，描述了電信大數(shù)據(jù)分析時(shí)運(yùn)用hadoop技術(shù)的優(yōu)勢(shì)。也為電信大數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)中運(yùn)用這些技術(shù)打下一個(gè)基礎(chǔ)。
　　然后認(rèn)真分析電信的用戶投訴快速處理，小區(qū)負(fù)荷分析,業(yè)務(wù)質(zhì)量分析，故障排查，重大場(chǎng)景保障，業(yè)務(wù)占比分析，全網(wǎng)指標(biāo)統(tǒng)計(jì)，用戶行為分析，主流業(yè)務(wù)分析等需求，以及分析電信大數(shù)據(jù)分析平臺(tái)所處的位置后，進(jìn)行了系統(tǒng)總體設(shè)計(jì)。通過(guò)對(duì)需求的分類，利用Hadoop中不同組件的特性，發(fā)揮各自優(yōu)勢(shì)，用Hbase實(shí)現(xiàn)了快

4、速查詢功能，用Hive實(shí)現(xiàn)了快速統(tǒng)計(jì)分析功能。另外實(shí)現(xiàn)中間件為外部系統(tǒng)提供一系列API接口，使其可以使用數(shù)據(jù)平臺(tái)中的計(jì)算資源以及已經(jīng)實(shí)現(xiàn)的數(shù)據(jù)分析算法等。
　　在各個(gè)功能的實(shí)現(xiàn)過(guò)程中根據(jù)電信數(shù)據(jù)的特性對(duì)Hbase數(shù)據(jù)庫(kù)的使用以及Hive表的使用進(jìn)行了仔細(xì)規(guī)劃和設(shè)計(jì)。在已實(shí)現(xiàn)的功能的使用中發(fā)現(xiàn)有數(shù)據(jù)傾斜等情況，沒(méi)能完全發(fā)揮Hadoop的高并發(fā)的分布式系統(tǒng)的全部威力，根據(jù)各個(gè)任務(wù)情況和數(shù)據(jù)特性進(jìn)行優(yōu)化和調(diào)整，最終得到了性能上的提升。<