Hadoop中MapReduce的性能優(yōu)化及可視化工具開(kāi)發(fā).pdf

1、MapReduce是對(duì)海量數(shù)據(jù)并行處理的編程模型，云計(jì)算中的很多重要問(wèn)題比如搜索引擎服務(wù)、龐大的科學(xué)計(jì)算任務(wù)，海量數(shù)據(jù)的挖掘等都可以通過(guò)MapReduce來(lái)解決，MapReduce編程模型在云計(jì)算中起著至關(guān)重要的作用。隨著MapReduce越來(lái)越多的應(yīng)用到各個(gè)領(lǐng)域，MapReduce的性能問(wèn)題也得到了學(xué)者的關(guān)注，同時(shí)隨著可視化技術(shù)的發(fā)展，性能優(yōu)化過(guò)程和結(jié)果的可視化、學(xué)習(xí)過(guò)程可視化等問(wèn)題也成了近幾年的研究熱點(diǎn)。Hadoop作為Google

2、公司MapReduce編程模型最受歡迎的Java開(kāi)源實(shí)現(xiàn)，使之成為研究MapReduce最重要的平臺(tái)，本文的性能優(yōu)化及可視化工具的開(kāi)發(fā)就是基于此平臺(tái)展開(kāi)研究的。
　　Hadoop平臺(tái)在運(yùn)算過(guò)程中作業(yè)的調(diào)度方式起著至關(guān)重要的作用，一個(gè)好的作業(yè)調(diào)度算法可以使作業(yè)被執(zhí)行的順序、資源被分配的情況更加科學(xué)高效，可以提高Hadoop平臺(tái)的計(jì)算性能和資源使用率。首先，在性能優(yōu)化方面，本文對(duì)傳統(tǒng)的FIFO算法(First In First Out

3、)進(jìn)行了研究，發(fā)現(xiàn)它沒(méi)有很好地實(shí)現(xiàn)數(shù)據(jù)的本地性，作業(yè)規(guī)模很小時(shí)會(huì)出現(xiàn)數(shù)據(jù)本地性明顯不好的問(wèn)題，故對(duì)FIFO算法進(jìn)行了改進(jìn)以提高數(shù)據(jù)本地性。其次，搭建了Hadoop云計(jì)算平臺(tái)，對(duì)文中改進(jìn)的算法和原始的FIFO算法進(jìn)行了對(duì)比實(shí)驗(yàn)和結(jié)果分析，結(jié)果表明改進(jìn)的算法提高了作業(yè)的數(shù)據(jù)本地性，節(jié)省了本地任務(wù)的數(shù)據(jù)傳輸時(shí)間，從而減少了所有作業(yè)的總完成時(shí)間，提高了系統(tǒng)的吞吐率。
　　在可視化方面，本文開(kāi)發(fā)了可視化工具，分別應(yīng)用在性能可視化、學(xué)習(xí)可視化

4、兩個(gè)方面。(1)性能可視化:本文基于以上研究結(jié)果，將性能優(yōu)化結(jié)果的可視化加入了Hadoop可視化管理平臺(tái)，從而開(kāi)發(fā)出一款基于性能優(yōu)化的可視化工具，使用戶可以對(duì)結(jié)果數(shù)據(jù)進(jìn)行可視化操作，該模塊支持用戶選擇不同的展現(xiàn)形式，不同的展示平臺(tái)等。同時(shí)為了兼容更多地性能優(yōu)化方法，通過(guò)暴露接口的方式支持功能的擴(kuò)展。(2)學(xué)習(xí)可視化:本文面向云計(jì)算學(xué)習(xí)者，開(kāi)發(fā)了一款可視化學(xué)習(xí)工具——云計(jì)算虛擬實(shí)驗(yàn)教學(xué)系統(tǒng)。系統(tǒng)中包含12個(gè)云計(jì)算系列實(shí)驗(yàn)，主要分為云計(jì)算基

5、礎(chǔ)知識(shí)類和實(shí)踐交互類，并將這些實(shí)驗(yàn)以虛擬化的方式展現(xiàn)出來(lái)。在實(shí)驗(yàn)設(shè)計(jì)中充分發(fā)揮虛擬實(shí)驗(yàn)的交互性、沉浸性和想象性的優(yōu)勢(shì)，彌補(bǔ)課堂和實(shí)驗(yàn)教學(xué)的不足，打破空間與時(shí)間的限制，幫助學(xué)生了解云計(jì)算的基礎(chǔ)知識(shí)與Hadoop的基本組成和技術(shù)原理。虛擬實(shí)驗(yàn)開(kāi)發(fā)采用Java技術(shù)與Flash技術(shù)相結(jié)合的方式，并用視頻加以佐證，使學(xué)生在實(shí)驗(yàn)前能夠充分了解實(shí)驗(yàn)的所有細(xì)節(jié)。
　　更重要的是，實(shí)驗(yàn)?zāi)M了一些常見(jiàn)的錯(cuò)誤，并給出了處理方法，使同學(xué)們?cè)谶M(jìn)行實(shí)驗(yàn)時(shí)能夠