面向海量數(shù)據(jù)的高性能多維OLAP技術(shù)的研究.pdf

1、隨著企業(yè)信息系統(tǒng)的完善和積累的數(shù)據(jù)量的增長，數(shù)據(jù)分析在現(xiàn)代企業(yè)中扮演著越來越重要的角色，OLAP（聯(lián)機(jī)分析處理），主要指的是對數(shù)據(jù)進(jìn)行實(shí)時的多維查詢和分析從而滿足決策分析需求，是目前數(shù)據(jù)分析領(lǐng)域最常用也是最有效的技術(shù)。OLAP經(jīng)過多年的發(fā)展，業(yè)界已經(jīng)有許多成熟的系統(tǒng)，無數(shù)的企業(yè)從OLAP技術(shù)獲益。但隨著我們進(jìn)入大數(shù)據(jù)時代，所需要處理分析的數(shù)據(jù)呈爆炸式增長，傳統(tǒng)的 OLAP技術(shù)在應(yīng)對海量數(shù)據(jù)的時候遇到了極大的瓶頸，出現(xiàn)了響應(yīng)速度過慢或者根

2、本無法處理等嚴(yán)重問題。因此研究新型 OLAP技術(shù)并設(shè)計(jì)實(shí)現(xiàn)面向海量數(shù)據(jù)的OLAP系統(tǒng)以滿足海量數(shù)據(jù)上的OLAP需求是業(yè)界迫切需要解決的問題。而當(dāng)前日益成熟的分布式計(jì)算框架和分布式存儲系統(tǒng)給解決這一問題提供了有效的途徑。
　　本論文主要結(jié)合當(dāng)前的理論技術(shù)基礎(chǔ)對面向海量數(shù)據(jù)的 OLAP技術(shù)進(jìn)行了研究，并且根據(jù)研究成果設(shè)計(jì)實(shí)現(xiàn)了一套基于預(yù)計(jì)算思想的面向海量數(shù)據(jù)的MOLAP（多維OLAP）原型框架，MOLAP的理念是通過將可能的查詢事先預(yù)

3、計(jì)算出結(jié)果生成Cube（數(shù)據(jù)立方體）以加速查詢。針對海量數(shù)據(jù)的特點(diǎn)，本論文重點(diǎn)研究了以下MOLAP相關(guān)內(nèi)容：1）妥善應(yīng)對海量數(shù)據(jù)下預(yù)計(jì)算的維度災(zāi)難問題；2）設(shè)計(jì)海量數(shù)據(jù)適用的分布式 Cube預(yù)計(jì)算算法；3）高效地處理預(yù)計(jì)算面臨的數(shù)據(jù)增長問題；4）合理地應(yīng)對分析業(yè)務(wù)需求改變帶來的多維模型變化?；谘芯砍晒O(shè)計(jì)并實(shí)現(xiàn)的MOLAP原型框架以Spark為計(jì)算框架，以HBase為主要存儲組件，以Calcite為基礎(chǔ)設(shè)計(jì)實(shí)現(xiàn)了SQL查詢引擎，并提供

4、了基于Web的可視化查詢分析組件。該框架由于利用了強(qiáng)大的分布式架構(gòu)，并且實(shí)現(xiàn)了高效的Cube預(yù)計(jì)算算法和Cube優(yōu)化策略，可以對海量數(shù)據(jù)進(jìn)行預(yù)計(jì)算生成Cube以提供低延遲的SQL查詢，提供高效的OLAP分析服務(wù)。
　　論文的最后使用業(yè)界最常用的SSB測試標(biāo)準(zhǔn)對本原型框架進(jìn)行了測試，重點(diǎn)測試了Cube的預(yù)計(jì)算速度和存儲空間占用以及對外提供查詢服務(wù)的響應(yīng)速度，并且和業(yè)界其他的大數(shù)據(jù) OLAP系統(tǒng)進(jìn)行了對比測試分析。實(shí)驗(yàn)表明，在絕大部分