基于Hadoop的封閉直方圖立方的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的到來，企業(yè)需要處理的數(shù)據(jù)越來越多，而決定企業(yè)能否更好發(fā)展的關(guān)鍵因素之一就是如何從大量數(shù)據(jù)中獲得準(zhǔn)確的決策信息。OLAP就是為解決此問題而被提出來的，為了提高OLAP的查詢性能，出現(xiàn)了數(shù)據(jù)立方體，它把匯總值提前計(jì)算出來并存儲(chǔ)。然而完全的預(yù)計(jì)算將導(dǎo)致數(shù)據(jù)立方體的體積呈爆炸式增長(zhǎng)，因此有必要研究降低磁盤存儲(chǔ)空間的技術(shù)并尋找加快計(jì)算速度，提高查詢性能的方法。數(shù)據(jù)立方預(yù)計(jì)算技術(shù)是把部分或全部聚集值預(yù)先計(jì)算出來，這樣做存在一些缺陷，如

2、不能使用約束條件對(duì)數(shù)據(jù)立方體過濾后進(jìn)行聚集分析，導(dǎo)致數(shù)據(jù)立方體含有信息量較少。近幾年來，企業(yè)面臨海量數(shù)據(jù)的挑戰(zhàn)，在傳統(tǒng)的集中式環(huán)境下計(jì)算和存儲(chǔ)數(shù)據(jù)立方體，不論在計(jì)算能力還是存儲(chǔ)能力都存在缺陷。
　　本文在深入研究封閉數(shù)據(jù)立方體技術(shù)和Hadoop并行計(jì)算平臺(tái)的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了封閉直方圖立方。針對(duì)完全數(shù)據(jù)立方體體積巨大的問題，本文使用了封閉數(shù)據(jù)立方體技術(shù)，并在其基礎(chǔ)上通過重組元組方法進(jìn)一步壓縮了數(shù)據(jù)立方體的體積。針對(duì)信息量少的問題

3、，本文提出來一個(gè)面向多維聚集查詢的通用模型，這個(gè)模型把多維空間中一個(gè)點(diǎn)值（具體匯總值）用一個(gè)統(tǒng)計(jì)直方圖來替換，因?yàn)樵级攘啃畔⒍加行П４?，解決了上面提到的問題。針對(duì)大數(shù)據(jù)量以及統(tǒng)計(jì)直方圖帶來的空間開銷，本文使用了Hadoop技術(shù)，它的MapReduce并行計(jì)算模型為數(shù)據(jù)立方的計(jì)算提供了技術(shù)支持，它的分布式文件系統(tǒng)HDFS為數(shù)據(jù)立方體的存儲(chǔ)提供了保障。通過多臺(tái)機(jī)器上同時(shí)計(jì)算封閉直方圖立方加快了計(jì)算速度。為了加快查詢響應(yīng)并充分利用并行計(jì)算特

4、點(diǎn)，本文提出了對(duì)封閉直方圖立方并行建立倒排索引的方法，通過倒排索引檢索數(shù)據(jù)大大減少了查詢時(shí)間。本文又對(duì)倒排索引采用了兩種壓縮方法，有效減少了倒排索引的存儲(chǔ)空間從而減小了對(duì)它的掃描時(shí)間，進(jìn)一步加快查詢速度。基于壓縮的倒排索引，本文提出了并行環(huán)境下索引的求交方法，通過在Map端并行求交，在Reduce端部分求交加快了求交速度，提高了查詢性能。通過實(shí)驗(yàn)及證明，本文所設(shè)計(jì)封閉直方圖立方能夠有效壓縮數(shù)據(jù)立方體的體積，而對(duì)倒排索引使用的兩次壓縮效果