基于MapReduce的數(shù)據(jù)聚集運(yùn)算處算法研究與實(shí)現(xiàn).pdf

1、信息化技術(shù)的不斷深入應(yīng)用，特別是網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，導(dǎo)致了數(shù)據(jù)的規(guī)模急劇增長(zhǎng)。因此，如何保證海量數(shù)據(jù)的有效存儲(chǔ)和管理，提高針對(duì)海量數(shù)據(jù)的處理效率成為人們?nèi)找骊P(guān)注的焦點(diǎn)。聚集運(yùn)算是數(shù)據(jù)預(yù)處理中最典型操作之一，對(duì)提高查詢效率有著非常重要的意義，但是聚集運(yùn)算非常耗費(fèi)計(jì)算資源，特別是針對(duì)海量級(jí)別數(shù)據(jù)的聚集運(yùn)算，更是需要巨大的計(jì)算能力和存儲(chǔ)能力，而普通的PC機(jī)難以提供這樣的計(jì)算資源，所以研究適合海量數(shù)據(jù)的聚集運(yùn)算具有重要意義。
　　本文通過(guò)

2、詳細(xì)研究了Google的分布式文件系統(tǒng)(GFS)以及MapReduce并行計(jì)算框架，充分利用該分布式文件系統(tǒng)的高擴(kuò)展型、高容錯(cuò)性等特性，結(jié)合MapReduce在處理大規(guī)模數(shù)據(jù)集時(shí)的并行性處理特性，提出了一組面向海量數(shù)據(jù)的數(shù)據(jù)聚集運(yùn)算算法，該組算法主要包括基于MapReduce的關(guān)系型數(shù)據(jù)的選擇、投影以及等值連接等算法，并在此基礎(chǔ)之上，實(shí)現(xiàn)了基于MapReduce的計(jì)數(shù)（Count）、求和(Sum)、均值(Average)、最大值(Max

3、)和最小值(Min)等聚集運(yùn)算，形成了比較完整的面向海量數(shù)據(jù)的聚集運(yùn)算算法。該套算法充分利用了集群系統(tǒng)的計(jì)算能力和存儲(chǔ)能力，以及集群系統(tǒng)的網(wǎng)絡(luò)帶寬，極大的提高了海量數(shù)據(jù)的聚集運(yùn)算效率，有效地減少了的運(yùn)算時(shí)間，提高了基于聚集運(yùn)算結(jié)果上的數(shù)據(jù)查詢效率。
　　本文還在以上聚集運(yùn)算算法的基礎(chǔ)上，實(shí)現(xiàn)了基于MapReduce的全局封閉數(shù)據(jù)立方體生成算法，以及在全局封閉數(shù)據(jù)立方體上的查詢算法。實(shí)驗(yàn)表明該算法充分發(fā)揮了集群系統(tǒng)的并行處理能力，可