KSTORE數(shù)據(jù)庫中數(shù)據(jù)立方的設計、研究與實現(xiàn).pdf

1、近年來，隨著計算機的普及以及互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，人們對于計算機的依賴程度越來越高，存儲在計算機中的數(shù)據(jù)量急速增長，特別是通信、金融、電子商務等領域每天都會產(chǎn)生大量數(shù)據(jù)，如何存儲這些數(shù)據(jù)并快速查詢已經(jīng)成為研究熱點。海量數(shù)據(jù)管理系統(tǒng)KSTORE基于壓縮技術，有效縮減了數(shù)據(jù)存儲空間以及讀寫產(chǎn)生的IO。但是，在實現(xiàn)高效存儲和查詢的同時，如何深入挖掘數(shù)據(jù)的內在信息并利用這些歷史數(shù)據(jù)進行分析決策已經(jīng)變得越來越困難，這也對數(shù)據(jù)庫以及數(shù)據(jù)倉庫的設計提

2、出了新的挑戰(zhàn)與要求。為了在大數(shù)據(jù)環(huán)境下對聯(lián)機分析處理應用有更好的支持，我們在KSTORE中引入了數(shù)據(jù)立方技術，設計并實現(xiàn)了與存儲引擎深度結合的壓縮立方體，大幅提升了上層的聚集分析查詢性能。
　　本文提出了支持高效查詢的擴展數(shù)據(jù)立方，稱為BDwarf。通過前綴冗余和后綴冗余的消除，可以人幅減少數(shù)據(jù)立方的體積。B+樹結構的引入極大提高了大數(shù)據(jù)量情況下的查詢效率。本文作者通過在BDwarf中額外存儲了COUNT，擴展了數(shù)據(jù)立方的應用面，

3、使其對于聚集查詢SUM、COUNT和AVG都有良好的支持。
　　本文給出了計算BDwarf的創(chuàng)建合并算法，這是一種高效率的創(chuàng)建算法，但是需要預排序。根據(jù)指針是否指向自己創(chuàng)建的數(shù)據(jù)塊將指針分為實指針和虛指針，在此基礎上提出了不需要預排序的插入算法。插入算法更適用于數(shù)據(jù)量大的情況。分析了BDwarf對于點查詢、范圍查詢以及冰山查詢的支持。
　　在建立了數(shù)據(jù)立方體后，數(shù)據(jù)的插入、刪除、更新操作會使已經(jīng)物化的數(shù)據(jù)立方體結果不準確。頻