基于Hadoop的封閉直方圖立方的設計與實現(xiàn).pdf

1、隨著信息時代的到來，企業(yè)需要處理的數(shù)據(jù)越來越多，而決定企業(yè)能否更好發(fā)展的關鍵因素之一就是如何從大量數(shù)據(jù)中獲得準確的決策信息。OLAP就是為解決此問題而被提出來的，為了提高OLAP的查詢性能，出現(xiàn)了數(shù)據(jù)立方體，它把匯總值提前計算出來并存儲。然而完全的預計算將導致數(shù)據(jù)立方體的體積呈爆炸式增長，因此有必要研究降低磁盤存儲空間的技術并尋找加快計算速度，提高查詢性能的方法。數(shù)據(jù)立方預計算技術是把部分或全部聚集值預先計算出來，這樣做存在一些缺陷，如

2、不能使用約束條件對數(shù)據(jù)立方體過濾后進行聚集分析，導致數(shù)據(jù)立方體含有信息量較少。近幾年來，企業(yè)面臨海量數(shù)據(jù)的挑戰(zhàn)，在傳統(tǒng)的集中式環(huán)境下計算和存儲數(shù)據(jù)立方體，不論在計算能力還是存儲能力都存在缺陷。
　　本文在深入研究封閉數(shù)據(jù)立方體技術和Hadoop并行計算平臺的基礎上，設計并實現(xiàn)了封閉直方圖立方。針對完全數(shù)據(jù)立方體體積巨大的問題，本文使用了封閉數(shù)據(jù)立方體技術，并在其基礎上通過重組元組方法進一步壓縮了數(shù)據(jù)立方體的體積。針對信息量少的問題

3、，本文提出來一個面向多維聚集查詢的通用模型，這個模型把多維空間中一個點值（具體匯總值）用一個統(tǒng)計直方圖來替換，因為原始度量信息都有效保存，解決了上面提到的問題。針對大數(shù)據(jù)量以及統(tǒng)計直方圖帶來的空間開銷，本文使用了Hadoop技術，它的MapReduce并行計算模型為數(shù)據(jù)立方的計算提供了技術支持，它的分布式文件系統(tǒng)HDFS為數(shù)據(jù)立方體的存儲提供了保障。通過多臺機器上同時計算封閉直方圖立方加快了計算速度。為了加快查詢響應并充分利用并行計算特

4、點，本文提出了對封閉直方圖立方并行建立倒排索引的方法，通過倒排索引檢索數(shù)據(jù)大大減少了查詢時間。本文又對倒排索引采用了兩種壓縮方法，有效減少了倒排索引的存儲空間從而減小了對它的掃描時間，進一步加快查詢速度。基于壓縮的倒排索引，本文提出了并行環(huán)境下索引的求交方法，通過在Map端并行求交，在Reduce端部分求交加快了求交速度，提高了查詢性能。通過實驗及證明，本文所設計封閉直方圖立方能夠有效壓縮數(shù)據(jù)立方體的體積，而對倒排索引使用的兩次壓縮效果