基于HBase的移動統(tǒng)計平臺的研究.pdf

1、最近隨著越來越多的開發(fā)者轉(zhuǎn)向移動應(yīng)用開發(fā),移動應(yīng)用迎來快速發(fā)展的春天,但大量移動應(yīng)用在同一時間涌入市場必然面對著非常激烈的競爭。為了能在如此競爭激烈地移動互聯(lián)網(wǎng)領(lǐng)域脫穎而出,必須對自己的移動應(yīng)用在市場的表現(xiàn)有實時和全面的了解,另外開發(fā)者還要充分了解移動應(yīng)用的優(yōu)勢和劣勢所在,只有這樣才能及時的完善移動應(yīng)用的功能和增強移動應(yīng)用的競爭力。以上的關(guān)鍵就是從用戶處獲取數(shù)據(jù)并對數(shù)據(jù)進行統(tǒng)計計算,考慮到數(shù)據(jù)量是非常巨大且不一定是結(jié)構(gòu)化的,利用HBas

2、e和Hadoop提供的分布式海量存儲和并行計算的能力,可以實現(xiàn)對移動應(yīng)用的統(tǒng)計。
　　本文在HBase數(shù)據(jù)庫的基礎(chǔ)上,設(shè)計并實現(xiàn)一個移動應(yīng)用統(tǒng)計平臺。它實現(xiàn)了對一個移動應(yīng)用最基本的統(tǒng)計,比如用戶量,啟動次數(shù),啟動時間等,以及各個統(tǒng)計項目在不同Target上的分布情況,另外系統(tǒng)利用MapReduce可以以較小的時間代價統(tǒng)計出某一類別移動應(yīng)用的Top K,然后將統(tǒng)計信息以移動應(yīng)用為單位通過Web展示。本系統(tǒng)還對HBase進行優(yōu)化以支持

3、海量數(shù)據(jù)的快速查找定位,以及對HBase某幾列利用Coprocessor建立二級索引,提高條件檢索的查詢效率。另外在HBase和Hadoop基礎(chǔ)框架之上基于Jetty建立一套Api框架,對系統(tǒng)整個業(yè)務(wù)邏輯進行封裝。最后在Api框架下建立一系列模塊化的,支持交叉合并的Report接口,用于返回數(shù)據(jù)給Web端顯示。
　　本文還搭建測試環(huán)境完成HBase的讀寫性能測試,以及二級索引和基于二級索引找Top K方法的性能測試,通過測試數(shù)據(jù)得