MapReduce作業(yè)組合系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、MapReduce是一種面向海量信息處理的云計(jì)算編程模型。一個MapReduce作業(yè)是功能單一的程序,其能完成的功能有限。為了完成一個復(fù)雜的任務(wù),MapReduce作業(yè)之間需要相互協(xié)作。雖然已有面向MapReduce的工作流引擎開源軟件產(chǎn)品,例如Hadoop生態(tài)圈的Oozie,但 Oozie不直接支持迭代計(jì)算,缺乏可視化開發(fā)環(huán)境,難以在實(shí)際的工程項(xiàng)目中應(yīng)用。本文工作以某省交通物流云計(jì)算平臺建設(shè)的實(shí)際項(xiàng)目為背景,根據(jù)該項(xiàng)目的實(shí)際需求,要求

2、形成海量信息處理的MapReduce作業(yè)庫和模板庫,在開發(fā)海量信息處理應(yīng)用時,無MapReduce編程經(jīng)驗(yàn)的業(yè)務(wù)人員可通過從庫中選擇模板和作業(yè),利用可視化工具對多個MapReduce作業(yè)進(jìn)行組合。
　　針對上述問題,本文在對實(shí)際需求和相關(guān)技術(shù)深入分析的基礎(chǔ)上,對作業(yè)組合的模式、作業(yè)組合描述語言及其分別對 Oozie hPDL和MapReduce代碼的轉(zhuǎn)換方法等關(guān)鍵技術(shù)進(jìn)行了研究,設(shè)計(jì)實(shí)現(xiàn)了一個支持作業(yè)庫和模板庫的MapReduce

3、作業(yè)可視化組合原型系統(tǒng)。測試和應(yīng)用情況表明,該系統(tǒng)是可行及有效的。
　　本文的具體工作有以下幾個方面:
　　(1)針對 MapReduce作業(yè)間的關(guān)系描述問題,提出了基于有向圖的MapReduce作業(yè)組合的多種模式,涵蓋順序、分支、連接、循環(huán)等MapReduce作業(yè)間的依賴關(guān)系。
　　(2)針對 MapReduce作業(yè)組合的定義問題,設(shè)計(jì)了一種基于XML的MapReduce作業(yè)組合描述語言JCDL(Jobs Compo

4、sition Description Language),提出了JCDL與MapReduce作業(yè)組合圖形表示之間的轉(zhuǎn)換算法。
　　(3)針對MapReduce作業(yè)組合的執(zhí)行問題,提出了兩種方法:一種是將基于JCDL的作業(yè)組合描述映射成基于Oozie的hPDL工作流描述,然后進(jìn)一步自動生成、部署和執(zhí)行Oozie應(yīng)用。這種方法的優(yōu)點(diǎn)是可充分利用開源 MapReduce工作流引擎 Oozie的高容錯特性。另一種是采用velocity代碼

5、生成技術(shù),把基于JCDL的作業(yè)組合描述直接轉(zhuǎn)換成MapReduce代碼,并自動提交到Hadoop上運(yùn)行。該方法的優(yōu)點(diǎn)是應(yīng)用的運(yùn)行效率更高。
　　(4)在上述工作的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個支持作業(yè)庫和模板庫的MapReduce作業(yè)可視化組合原型系統(tǒng)。該系統(tǒng)包括可視化作業(yè)組合工具、JCDL驗(yàn)證子系統(tǒng)、模板庫及作業(yè)庫管理子系統(tǒng)、基于Oozie的JCDL執(zhí)行引擎和基于MapReduce的JCDL執(zhí)行引擎等。
　　(5)以基于BP神經(jīng)

6、網(wǎng)絡(luò)的分類應(yīng)用作業(yè)庫為例,對MapReduce作業(yè)組合系統(tǒng)的可行性和有效性進(jìn)行驗(yàn)證。重點(diǎn)闡述了作業(yè)庫中一個基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò) MapReduce算法的作業(yè)實(shí)現(xiàn);然后應(yīng)用MapReduce作業(yè)組合原型系統(tǒng)對作業(yè)庫中的多個作業(yè)進(jìn)行組合,形成一個分類應(yīng)用。該應(yīng)用在KDD CUP1999公共測試集上的測試結(jié)果表明,組合得到的分類應(yīng)用能夠完成分類操作,分類正確率為91.6％,且基于MapReduce的執(zhí)行方法比基于Oozie的執(zhí)行方法效率高1