基于Hadoop的多維數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)劃分與查詢技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著近年來(lái)數(shù)據(jù)搜集手段的長(zhǎng)足發(fā)展，很多企業(yè)所擁有的生產(chǎn)與管理的數(shù)據(jù)量已經(jīng)非常巨大，如何存儲(chǔ)和檢索這些數(shù)據(jù)指導(dǎo)企業(yè)下一步戰(zhàn)略變得越來(lái)越重要。伴隨著Google提出著名的MapReduce計(jì)算模型，將關(guān)系性數(shù)據(jù)倉(cāng)庫(kù)與該模型整合來(lái)處理海量數(shù)據(jù)上已經(jīng)成為解決該問(wèn)題的有效方案之一。但是當(dāng)前實(shí)現(xiàn)的MapReduce模型下的數(shù)據(jù)倉(cāng)庫(kù)在進(jìn)行分布式存儲(chǔ)時(shí)并沒(méi)有考慮到數(shù)據(jù)間的相關(guān)性。如果對(duì)數(shù)據(jù)進(jìn)行相關(guān)存儲(chǔ)會(huì)在很大程度提高分布式數(shù)據(jù)倉(cāng)庫(kù)上的檢索性能。

2、　　本文針對(duì)這個(gè)問(wèn)題，設(shè)計(jì)了數(shù)據(jù)倉(cāng)庫(kù)中事實(shí)表進(jìn)行多維衍生水平劃分的方案;并將其應(yīng)該到本文設(shè)計(jì)的MDChunkDB多維分布數(shù)數(shù)據(jù)倉(cāng)庫(kù)中;另外還擴(kuò)展了Hadoop開(kāi)源框架中的InputFormat數(shù)據(jù)接口，使在MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)上運(yùn)行Hadoop的檢索作業(yè)成為現(xiàn)實(shí)。首先，事實(shí)表的多維衍生水平劃分方案是將事實(shí)表按照指定的參照維的取值不同進(jìn)行水平分片，劃分后的事實(shí)表分片中的各個(gè)數(shù)據(jù)元組的參照維的取值上具有相關(guān)性。這種分片方減少了檢索時(shí)啟

3、動(dòng)Map任務(wù)的數(shù)據(jù)節(jié)點(diǎn)數(shù)量，只有在與SQL查詢相關(guān)的數(shù)據(jù)分片上啟動(dòng)Map任務(wù)即可，可以在檢索時(shí)大大提高檢索效率。其次，MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)可以建立部署在廉價(jià)的超大PC集群上的分布式數(shù)據(jù)倉(cāng)庫(kù)。它通過(guò)整合MapReduce計(jì)算框架和傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)，將其兩者的優(yōu)勢(shì)結(jié)合在一起。在MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)中，存儲(chǔ)數(shù)據(jù)的載體是集群中數(shù)據(jù)節(jié)點(diǎn)上的集中式數(shù)據(jù)庫(kù)，而對(duì)該數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行并行檢索的操作是由MapReduce計(jì)算模型來(lái)實(shí)現(xiàn)。文

4、中詳細(xì)的闡述了MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)的整體架構(gòu)及設(shè)計(jì)中的各個(gè)要點(diǎn):元數(shù)據(jù)信息、存儲(chǔ)策略、容錯(cuò)性與擴(kuò)展性等等。最后，為了實(shí)現(xiàn)MapReduce計(jì)算模型與MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)的融合，擴(kuò)展了Hadoop的InputFormat接口，使MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)上可以運(yùn)行Hadoop的查詢檢索任務(wù)。通過(guò)實(shí)驗(yàn)測(cè)試了MDChunkDB多維分布式數(shù)據(jù)倉(cāng)庫(kù)的加載性能和檢索性能。MDChunkDB數(shù)據(jù)倉(cāng)庫(kù)的加載性能不及HadoopDB，但是大數(shù)