不確定大數(shù)據(jù)分析原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)隨著信息量的日益膨脹，數(shù)據(jù)量的快速增長(zhǎng)，對(duì)大數(shù)據(jù)分析的需求日趨急切。同時(shí)隨著人們對(duì)不確定數(shù)據(jù)認(rèn)識(shí)的越加深刻，基于不確定大數(shù)據(jù)的處理需求開(kāi)始興起。然而現(xiàn)有的基于數(shù)據(jù)倉(cāng)庫(kù)的聯(lián)機(jī)分析處理研究或者系統(tǒng)都是建立在傳統(tǒng)數(shù)據(jù)庫(kù)之上的，對(duì)大數(shù)據(jù)的存儲(chǔ)支持尚不完善。本文依托國(guó)家不確定大數(shù)據(jù)項(xiàng)目，實(shí)現(xiàn)了基于MapReduce計(jì)算框架的不確定數(shù)據(jù)的確定化處理，設(shè)計(jì)和實(shí)現(xiàn)了基于Hive數(shù)據(jù)倉(cāng)庫(kù)的聯(lián)機(jī)分析處理系統(tǒng)。
　　本文主要是通過(guò)研究蒙特卡羅采樣

2、算法，針對(duì)不確定圖數(shù)據(jù)經(jīng)過(guò)采樣過(guò)程進(jìn)行確定化處理。然后根據(jù)確定化的數(shù)據(jù)集在分布式數(shù)據(jù)倉(cāng)庫(kù)Hive上構(gòu)建多維數(shù)據(jù)模型，同時(shí)設(shè)計(jì)和實(shí)現(xiàn)了以Hive數(shù)據(jù)倉(cāng)庫(kù)為底層存儲(chǔ)的聯(lián)機(jī)分析處理系統(tǒng)。本文的貢獻(xiàn)可以概括為以下幾個(gè)方面。第一，通過(guò)學(xué)習(xí)簡(jiǎn)單隨機(jī)采樣算法，結(jié)合本文用到的不確定數(shù)據(jù)集特征，深入研究了不等概率采樣算法的實(shí)現(xiàn)方法，然后將方法的具體實(shí)現(xiàn)在分布式編程模型MapReduce上進(jìn)行實(shí)施，驗(yàn)證了算法的有效性并提高了算法的效率。第二，學(xué)習(xí)和研究了聯(lián)

3、機(jī)分析處理的模型和操作，利用Hadoop平臺(tái)下的分布式數(shù)據(jù)倉(cāng)庫(kù)Hive，根據(jù)本文的分析需求在Hive數(shù)據(jù)倉(cāng)庫(kù)之上構(gòu)建了多維數(shù)據(jù)模型，定義了多維分析操作。研究了一種基于Hive自定義函數(shù)UDF的模擬維度分析方法，結(jié)合了本文數(shù)據(jù)集的特點(diǎn)滿(mǎn)足了分析需求的同時(shí)提高了分析效率。第三，設(shè)計(jì)和實(shí)現(xiàn)了基于確定化數(shù)據(jù)的多維數(shù)據(jù)分析系統(tǒng)，系統(tǒng)采用三層框架結(jié)構(gòu)，分別是分析引擎層、業(yè)務(wù)控制層和用戶(hù)操作層。分析引擎層主要負(fù)責(zé)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)模型和利用MapReduc