OLAP系統(tǒng)中Cube并行與分布式處理技術(shù)的研究.pdf

1、數(shù)據(jù)立方體(Data Cube，Cube)是一項(xiàng)可對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行快速訪問的技術(shù)，它是聯(lián)機(jī)分析處理(On-Line Analytical Processing，OLAP)的主要對(duì)象。決策分析者可以在Cube中享受高效率的數(shù)據(jù)訪問，快速獲取有用的決策信息。 在本文中，我們提出了在并行環(huán)境下建立基于高維數(shù)據(jù)的Cube數(shù)據(jù)存儲(chǔ)和OLAP查詢分析系統(tǒng)，以及在網(wǎng)絡(luò)環(huán)境下建立基于海量痕跡數(shù)據(jù)的Cube數(shù)據(jù)存儲(chǔ)和OLAP查詢分析系統(tǒng)，并

2、給出了該方面工作的進(jìn)一步研究思路。 隨著數(shù)據(jù)倉庫中數(shù)據(jù)規(guī)模的不斷增大，Cube的維度和維度的層次結(jié)構(gòu)日益復(fù)雜，在單處理機(jī)上物化整個(gè)Cube，無論在計(jì)算時(shí)間還是存儲(chǔ)空間上的代價(jià)都十分昂貴。盡管采用了許多改進(jìn)的算法及：Iceberg Cube，Condensed cube，Dwarf~等Cube壓縮技術(shù)，也不能從根本上解決高維數(shù)據(jù)的Cube存儲(chǔ)問題，并行技術(shù)為我們解決這一問題提供了新思路。 本文針對(duì)高維數(shù)據(jù)所引起的“維災(zāi)”，

3、提出了一種并行環(huán)境下的高效存儲(chǔ)結(jié)構(gòu)——HDCube(High Dimensional Cube)，HDCube通過分段劃分策略將高維層次數(shù)據(jù)根據(jù)節(jié)點(diǎn)的個(gè)數(shù)劃分成若干個(gè)低維層次數(shù)據(jù)，利用并行處理技術(shù)創(chuàng)建各個(gè)節(jié)點(diǎn)上的LDCube(Low：Dimensional Cube)，同時(shí)充分利用維屬性具有層次性的特點(diǎn)，采用基于維層次編碼(Dimenison Hierarchical Encoding，DHE)的索引技術(shù)，生成各個(gè)維的維層次編碼表來代替

4、維表中原關(guān)鍵字，在實(shí)現(xiàn)維關(guān)鍵字壓縮的同時(shí)加快了Cube中的數(shù)據(jù)檢索速度。然后結(jié)合并行處理技術(shù)，建立了并行環(huán)境下的HDCube數(shù)據(jù)存儲(chǔ)與OLAP查詢分析系統(tǒng)，對(duì)HDCube進(jìn)行并行創(chuàng)建與增量更新維護(hù)，并給出了HDCube的并行查詢處理及優(yōu)化算法。理論分析和實(shí)驗(yàn)證明，相對(duì)于以往的完整物化和部分物化等傳統(tǒng)方法，我們提出的并行環(huán)境下HDCube的性能有顯著的提高，具有很高的效率和加速比。 OLAP除了在傳統(tǒng)領(lǐng)域，如金融、保險(xiǎn)、電信等行業(yè)

5、中的特定應(yīng)用之外，在物流行業(yè)的發(fā)展也很廣闊。我們結(jié)合危險(xiǎn)品運(yùn)輸過程中產(chǎn)生的海量痕跡數(shù)據(jù)，提出了海量痕跡數(shù)據(jù)的Cube存儲(chǔ)結(jié)構(gòu)——MTCube(Massive Trace Cube)，MTCube適用于實(shí)際應(yīng)用中普遍存在的海量痕跡數(shù)據(jù)，它在根據(jù)痕跡數(shù)據(jù)特性大幅度壓縮數(shù)據(jù)的同時(shí)，通過層次前綴痕跡(Hierarchy Prefix Trace)和層次前綴標(biāo)識(shí)(Hierarchy Prefix ID)在存儲(chǔ)結(jié)構(gòu)中記錄數(shù)據(jù)的痕跡，幫助用戶在跟蹤危

6、險(xiǎn)品的同時(shí)，能從龐雜的數(shù)據(jù)中進(jìn)行信息提煉，分析現(xiàn)在的、有用的關(guān)系和模式，為復(fù)雜數(shù)據(jù)的分析和高層決策提供更有效的支持。由于痕跡數(shù)據(jù)往往是海量的、地理分布的，同時(shí)查詢復(fù)雜化和顯示多樣化的需求不斷地增加，原有的集中式管理已經(jīng)越來越表現(xiàn)出其局限性。為此我們提出了建立網(wǎng)絡(luò)環(huán)境下的MTCube數(shù)據(jù)存儲(chǔ)與OLAP查詢分析系統(tǒng)，它由若干個(gè)本地站點(diǎn)的局部Cube/OLAP系統(tǒng)(Local Cube/OLAP System，LCOS)組成。理論分析和實(shí)驗(yàn)證