云環(huán)境下直方圖立方壓縮存儲(chǔ)與增量更新及查詢(xún)研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)和云計(jì)算時(shí)代到來(lái)，像聯(lián)機(jī)分析處理(On Line Analytical Processing，OLAP)這種需要大量計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)的問(wèn)題變得簡(jiǎn)單許多。然而受數(shù)據(jù)海量化和高維化影響，OLAP技術(shù)在計(jì)算和存儲(chǔ)方面仍然面臨嚴(yán)峻的挑戰(zhàn)，分布式環(huán)境下的處理方式只是緩解上述挑戰(zhàn)。
　　本文提出了直方圖數(shù)據(jù)立方體的壓縮架構(gòu)，分別從直方數(shù)據(jù)圖立方體的底層存儲(chǔ)結(jié)構(gòu)，內(nèi)容壓縮，整體壓縮三個(gè)方面進(jìn)行了優(yōu)化處理。首先底層存儲(chǔ)結(jié)構(gòu)上，本文基于直方

2、圖數(shù)據(jù)立方體和封閉數(shù)據(jù)立方體技術(shù)對(duì)于直方圖數(shù)據(jù)立方體的存儲(chǔ)結(jié)構(gòu)進(jìn)行改進(jìn)，提出了封閉元祖+直方圖的底層存儲(chǔ)結(jié)構(gòu);內(nèi)容壓縮上，本文根據(jù)直方圖數(shù)據(jù)立方體的統(tǒng)計(jì)結(jié)構(gòu)信息提出計(jì)數(shù)倒轉(zhuǎn)的壓縮方法;整體壓縮上，本文借用文件壓縮進(jìn)一步壓縮直方圖數(shù)據(jù)立方體;綜合上述三種壓縮技術(shù)，本文實(shí)現(xiàn)了對(duì)直方圖數(shù)據(jù)立方體的高效壓縮。
　　構(gòu)建數(shù)據(jù)立方體在時(shí)間上是一種很大的開(kāi)銷(xiāo)，前人大多都是在研究如何用盡可能少的時(shí)間構(gòu)建一個(gè)完全數(shù)據(jù)立方體，而數(shù)據(jù)立方體是面向企業(yè)應(yīng)

3、用的，企業(yè)會(huì)有不斷的新數(shù)據(jù)需要累加到數(shù)據(jù)立方體中。本文對(duì)數(shù)據(jù)立方體增量更新的收益與代價(jià)進(jìn)行了分析研究，對(duì)數(shù)據(jù)立方體增量構(gòu)建方法進(jìn)行了探索，本文提出了封閉數(shù)據(jù)立方體增量更新時(shí)沒(méi)有刪除只有增加和更新的規(guī)律，并在MapReduce分布式環(huán)境下實(shí)現(xiàn)了MRC-IncreUp算法。
　　封閉數(shù)據(jù)立方體的查詢(xún)實(shí)現(xiàn)才是OLAP的最終目的，本文提出了基于查詢(xún)鍵的直接查詢(xún)和基于封閉原則編碼分類(lèi)的分類(lèi)查詢(xún)，另外為了實(shí)現(xiàn)交互式查詢(xún)，本文引入了Impala