MapReduce在科學(xué)計(jì)算中的研究與改進(jìn).pdf

1、隨著異構(gòu)數(shù)據(jù)的急劇增加，云計(jì)算應(yīng)運(yùn)而生。作為云計(jì)算的編程模型MapReduce同樣也得到了廣泛的關(guān)注，特別是在學(xué)術(shù)界。為了解決覆蓋及中間數(shù)據(jù)的存儲(chǔ)等諸多問(wèn)題，諸多學(xué)者提出了許多地改進(jìn)辦法并形成了自己的編程模型，如有Hadoop、Twister和Haloop等。
　　 為了能夠?qū)崿F(xiàn)迭代算法，Haloop模型中增加了LoopControl機(jī)制，該機(jī)制在具體的實(shí)施時(shí)主要是增加了兩個(gè)函數(shù)，即ADDMap和ADDReduce，這兩個(gè)函數(shù)的

2、目的就在于來(lái)增加其迭代的次數(shù)。同時(shí)在Twister模型中也有相應(yīng)控制loop的機(jī)制。同樣，在本文中為了更好的執(zhí)行具有迭代的算法，不但保持了原有的接口和函數(shù)，而且還在Map函數(shù)、Reduce函數(shù)、ADDMap函數(shù)和ADDReduce函數(shù)中增加了一個(gè)參數(shù)M，M的作用主要是來(lái)區(qū)分科學(xué)計(jì)算中的四類算法的。如果M等于1就代表是第一類算法;如果M等于2時(shí)就代表第二類算法;如果M等于3時(shí)就代表第三類算法;如果M等于4時(shí)就代表第四類算法。由于第三類和第

3、四類算法都是具有迭代的算法，這時(shí)把該兩類算法經(jīng)常要用到的函數(shù)及接口都寫成了適配器。在具體做實(shí)驗(yàn)時(shí)，開(kāi)發(fā)人員就可以根據(jù)需要往函數(shù)體里面增加相應(yīng)的函數(shù)體。為了確保數(shù)據(jù)的安全，在實(shí)驗(yàn)時(shí)變量被聲明成保護(hù)型。把那些變化不大的數(shù)據(jù)放在緩沖池，這樣一來(lái)就可在Slave節(jié)點(diǎn)的本地系統(tǒng)上讀寫數(shù)據(jù)，而不用從Master節(jié)點(diǎn)上讀寫數(shù)據(jù)，這樣不但可以減輕Master節(jié)點(diǎn)的工作量，而且可以提高運(yùn)行效率。
　　 基于種種調(diào)度算法的缺點(diǎn)，提出改進(jìn)的算法。該算

4、法增加如下參數(shù):計(jì)算成本，任務(wù)的最后期限和客服端機(jī)器的處理速度等參數(shù)，還設(shè)置了兩個(gè)隊(duì)列:計(jì)算資源隊(duì)列和最后期限隊(duì)列。其中，計(jì)算資源隊(duì)列中任務(wù)的優(yōu)先級(jí)是由計(jì)算成本來(lái)決定。計(jì)算計(jì)算成本時(shí)要乘以一個(gè)權(quán)值Weight，該權(quán)值的大小是由在Map函數(shù)、Reduce函數(shù)、ADDMap函數(shù)和ADDReduce函數(shù)中增加的參數(shù)M來(lái)決定。如果M等于1時(shí)，Weight也等于1;如果M等于2時(shí)，Weight也等于2;如果M等于3時(shí)，Weight也等于3;如果M