KSTORE數(shù)據(jù)庫中數(shù)據(jù)立方的設(shè)計(jì)、研究與實(shí)現(xiàn).pdf

1、近年來，隨著計(jì)算機(jī)的普及以及互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，人們對(duì)于計(jì)算機(jī)的依賴程度越來越高，存儲(chǔ)在計(jì)算機(jī)中的數(shù)據(jù)量急速增長，特別是通信、金融、電子商務(wù)等領(lǐng)域每天都會(huì)產(chǎn)生大量數(shù)據(jù)，如何存儲(chǔ)這些數(shù)據(jù)并快速查詢已經(jīng)成為研究熱點(diǎn)。海量數(shù)據(jù)管理系統(tǒng)KSTORE基于壓縮技術(shù)，有效縮減了數(shù)據(jù)存儲(chǔ)空間以及讀寫產(chǎn)生的IO。但是，在實(shí)現(xiàn)高效存儲(chǔ)和查詢的同時(shí)，如何深入挖掘數(shù)據(jù)的內(nèi)在信息并利用這些歷史數(shù)據(jù)進(jìn)行分析決策已經(jīng)變得越來越困難，這也對(duì)數(shù)據(jù)庫以及數(shù)據(jù)倉庫的設(shè)計(jì)提

2、出了新的挑戰(zhàn)與要求。為了在大數(shù)據(jù)環(huán)境下對(duì)聯(lián)機(jī)分析處理應(yīng)用有更好的支持，我們?cè)贙STORE中引入了數(shù)據(jù)立方技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了與存儲(chǔ)引擎深度結(jié)合的壓縮立方體，大幅提升了上層的聚集分析查詢性能。
　　本文提出了支持高效查詢的擴(kuò)展數(shù)據(jù)立方，稱為BDwarf。通過前綴冗余和后綴冗余的消除，可以人幅減少數(shù)據(jù)立方的體積。B+樹結(jié)構(gòu)的引入極大提高了大數(shù)據(jù)量情況下的查詢效率。本文作者通過在BDwarf中額外存儲(chǔ)了COUNT，擴(kuò)展了數(shù)據(jù)立方的應(yīng)用面，

3、使其對(duì)于聚集查詢SUM、COUNT和AVG都有良好的支持。
　　本文給出了計(jì)算BDwarf的創(chuàng)建合并算法，這是一種高效率的創(chuàng)建算法，但是需要預(yù)排序。根據(jù)指針是否指向自己創(chuàng)建的數(shù)據(jù)塊將指針分為實(shí)指針和虛指針，在此基礎(chǔ)上提出了不需要預(yù)排序的插入算法。插入算法更適用于數(shù)據(jù)量大的情況。分析了BDwarf對(duì)于點(diǎn)查詢、范圍查詢以及冰山查詢的支持。
　　在建立了數(shù)據(jù)立方體后，數(shù)據(jù)的插入、刪除、更新操作會(huì)使已經(jīng)物化的數(shù)據(jù)立方體結(jié)果不準(zhǔn)確。頻