分布式平臺(tái)下基于開銷估算的多數(shù)據(jù)集連接方法.pdf

1、分布式計(jì)算的發(fā)展為大數(shù)據(jù)的分析和處理提供了一個(gè)新的平臺(tái)。MapReduce是一種能夠在分布式系統(tǒng)中實(shí)現(xiàn)大規(guī)模數(shù)據(jù)并行運(yùn)算的分布式計(jì)算框架。但是MapReduce自身的不足限制了它處理多數(shù)據(jù)集連接的能力。如何改進(jìn)現(xiàn)有的利用MapReduce處理多數(shù)據(jù)集連接的方法，提高M(jìn)apReduce處理數(shù)據(jù)集連接的效率，對(duì)于提高數(shù)據(jù)的查詢、分析效率，更好地支持大數(shù)據(jù)的分析處理具有重要的意義。
　　分析MapReduce計(jì)算框架中Map階段和Red

2、uce階段的數(shù)據(jù)處理過程，在現(xiàn)有連接開銷模型的基礎(chǔ)上，細(xì)化Map階段和Reduce階段中的數(shù)據(jù)排序、壓縮等過程，加入map函數(shù)和reduce函數(shù)部分的計(jì)算開銷。給出利用概率分布函數(shù)估算連接結(jié)果數(shù)據(jù)量的方法，使模型能更好地服務(wù)于連接計(jì)劃的規(guī)劃。
　　以開銷估算模型為基礎(chǔ)，設(shè)計(jì)一個(gè)結(jié)合貪心和動(dòng)態(tài)規(guī)劃策略的多數(shù)據(jù)集連接方法。首先利用預(yù)等值連接減少參與非等值連接的數(shù)據(jù)集的數(shù)據(jù)量，降低后續(xù)處理非等值連接所需的開銷；其次，利用ThetaJoi

3、n分步連接和二路ThetaJoin連接組處理所有非等值連接；最后，利用貪心和動(dòng)態(tài)規(guī)劃將等值連接分解成多個(gè)子模塊，并為每個(gè)子模塊選擇合適的連接方案。這種啟發(fā)式的連接方法利用開銷模型分析現(xiàn)有連接方法在處理不同連接場(chǎng)景時(shí)的優(yōu)劣，將任務(wù)進(jìn)行分解，為每個(gè)子任務(wù)選擇合適的連接方法，實(shí)現(xiàn)以減少局部連接的開銷來提高整個(gè)連接任務(wù)效率的目的。
　　設(shè)計(jì)不同的連接場(chǎng)景，在搭建的Hadoop并行計(jì)算平臺(tái)上對(duì)多種不同的連接方法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的