基于MapReduce的Data Cube相關(guān)技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和信息技術(shù)產(chǎn)業(yè)的迅速崛起，由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來越龐大，大數(shù)據(jù)包含了更多有用的信息，也帶來了更多的挑戰(zhàn)。聯(lián)機(jī)分析處理(On-Line Analytical Processing，OLAP)作為存儲(chǔ)和分析數(shù)據(jù)的重要技術(shù)，需要存儲(chǔ)和處理的數(shù)據(jù)量也在大規(guī)模地急劇增長。Data Cube是OLAP的主要分析手段，如何高效處理Data Cube中所包含的大規(guī)模數(shù)據(jù)是OLAP研究和應(yīng)用領(lǐng)域的一個(gè)關(guān)鍵問題。由Google公司提出的

2、MapReduce是一種能夠在大型計(jì)算機(jī)集群上并行處理海量數(shù)據(jù)的框架模型，基于這種分布式并行框架，本文實(shí)現(xiàn)了對Data Cube的并行聚類、更新和查詢。本文的主要研究工作及所取得的創(chuàng)新性成果有:
　　 (1) Data Cube的并行聚類:根據(jù)Data Cube的語義特性和多維數(shù)據(jù)之間的等價(jià)關(guān)系，提出了一種基于MapReduce框架的并行語義Cube層次聚類算法。該算法能將Data Cube快速聚類，最終保存等價(jià)類的上下界來實(shí)現(xiàn)

3、對Data Cube的壓縮存儲(chǔ)。該方法不但節(jié)省了存儲(chǔ)空間、加快了聚類速度，而且其保存的聚類信息及層次信息為Data Cube中數(shù)據(jù)的快速更新和OLAP查詢行為分析的實(shí)現(xiàn)提供了可能。
　　 (2) Data Cube層次聚類的增量維護(hù):以Data Cube等價(jià)類為基礎(chǔ)，結(jié)合等價(jià)類之間的層次關(guān)系，在MapReduce并行框架上提出了一種高效的Data Cube批量更新算法，有效地解決了數(shù)據(jù)量過大導(dǎo)致維護(hù)效率太低的問題。
　　

4、 (3)并行的OLAP查詢:在Data Cube等價(jià)類的基礎(chǔ)上，對OLAP點(diǎn)查詢和范圍查詢進(jìn)行了并行優(yōu)化，并在改進(jìn)的MapReduce模型中，提出了一種基于緩存的OLAP查詢優(yōu)化算法，通過定義OLAP查詢中的各種運(yùn)算，并行地進(jìn)行多個(gè)OLAP查詢，提高了查詢的效率。
　　 本文詳細(xì)分析了語義Cube各種操作的并行化實(shí)現(xiàn)。設(shè)計(jì)了這些操作在MapReduce模型下的實(shí)現(xiàn)方案，并將并行算法與傳統(tǒng)算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果證明了并行算法的優(yōu)