分布式平臺(tái)下多數(shù)據(jù)集連接優(yōu)化方法研究.pdf

1、隨著信息技術(shù)的日益發(fā)展，如何處理海量數(shù)據(jù)成為目前的研究熱點(diǎn)。MapReduce分布式計(jì)算框架以其處理數(shù)據(jù)量大、簡(jiǎn)單易用、可擴(kuò)展性強(qiáng)等特點(diǎn)成為進(jìn)行大數(shù)據(jù)處理時(shí)的主要選擇之一。但對(duì)于數(shù)據(jù)處理中十分重要且常見的連接操作，MapReduce框架的特點(diǎn)決定了它僅在處理單屬性等值連接時(shí)有著較好的表現(xiàn)，由于涉及到連接方案選擇等問題，其在進(jìn)行多數(shù)據(jù)集的任意連接時(shí)效率并不高。所以針對(duì)MapReduce下的多數(shù)據(jù)集任意連接優(yōu)化方法的研究，對(duì)于提高大數(shù)據(jù)處理

2、的效率具有重要的意義。
　　完善了現(xiàn)有的開銷估算模型，細(xì)化了計(jì)算、排序、合并等操作以及內(nèi)存與磁盤間數(shù)據(jù)交換的開銷。并加入了分布擬合操作，能夠比較準(zhǔn)確地獲取待連接數(shù)據(jù)集的分布形式，從而使得在對(duì)數(shù)據(jù)集的連接結(jié)果集規(guī)模估算得更加準(zhǔn)確。利用該估算模型對(duì)數(shù)據(jù)集連接進(jìn)行開銷估算時(shí)獲得的估算結(jié)果更加精確，進(jìn)而能夠在此基礎(chǔ)上制定更加合理高效的連接方案，提升整體的連接效率。
　　以開銷估算模型為基礎(chǔ)，制定了基于連接集合劃分與覆蓋的多數(shù)據(jù)集連接

3、方法。方法將一次連接操作看作一個(gè)連接集合，首先將整體的連接關(guān)系看作連接全集并劃分為若干個(gè)連接子集，劃分過程中運(yùn)用剪枝策略，減少劃分得到的子集數(shù)量；之后運(yùn)用蟻群算法，對(duì)劃分好的集合進(jìn)行最優(yōu)集合覆蓋求解，能夠覆蓋全集的子集就代表著能夠?qū)⑺袛?shù)據(jù)集連接起來的連接操作；再對(duì)得到的集合覆蓋結(jié)果重復(fù)上述操作，直到得到最終的連接方案。集合劃分操作保證了連接方案的全面性，帶權(quán)集合覆蓋的求解保證了連接方案的高效性，最終提高了整體的連接效率。
　　將