MapReduce的性能分析與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的興起與日益激增的數(shù)據(jù)處理需求,云計(jì)算以其低廉的成本,強(qiáng)大的運(yùn)算存儲(chǔ)能力與高可靠性等眾多優(yōu)良特性逐漸受到各大IT企業(yè)的重視。MapReduce是云架構(gòu)的編程模型,用以在集群上分布式地執(zhí)行用戶提交的作業(yè),其作業(yè)調(diào)度與執(zhí)行性能成為使用者關(guān)注的重點(diǎn)。
　　本文對(duì)Hadoop平臺(tái)MapReduce編程模型的多個(gè)優(yōu)化方向進(jìn)行了細(xì)致地研究。在對(duì)目前國(guó)內(nèi)外關(guān)于MapReduce編程模型的性能優(yōu)化技術(shù)進(jìn)行分析的基礎(chǔ)上,首先給出了多用戶組

2、使用環(huán)境下,支持作業(yè)類型劃分的多隊(duì)列調(diào)度策略。調(diào)度器通過(guò)劃分作業(yè)等待隊(duì)列和作業(yè)執(zhí)行隊(duì)列的方式,實(shí)現(xiàn)了二級(jí)調(diào)度;通過(guò)多個(gè)作業(yè)隊(duì)列的方式管理多個(gè)用戶組;作業(yè)隊(duì)列的計(jì)算資源允許在閑置時(shí)被其它作業(yè)隊(duì)列占用,以避免資源浪費(fèi);被占用的資源可以在作業(yè)隊(duì)列需要時(shí)被回收,回收過(guò)程支持任務(wù)搶占,并通過(guò)“共享隊(duì)列列表”和“非共享隊(duì)列列表”的邏輯劃分防止乒乓效應(yīng)的產(chǎn)生。調(diào)度器同時(shí)支持作業(yè)類型進(jìn)行調(diào)度,根據(jù)節(jié)點(diǎn)的負(fù)載情況,靈活地分配不同類型的作業(yè)以提高節(jié)點(diǎn)的硬件

3、利用率,加快作業(yè)的響應(yīng)速度。
　　本文研究了提升Reduce任務(wù)網(wǎng)絡(luò)性能的優(yōu)化方法。通過(guò)在Map任務(wù)所在的節(jié)點(diǎn)合并輸出文件,使得輸出數(shù)據(jù)更緊湊,減少了本地臨時(shí)文件的文件數(shù),從而增大了單個(gè)輸出文件的大小。在Reduce任務(wù)的輸入數(shù)據(jù)本地化過(guò)程中,通過(guò)長(zhǎng)連接從Map任務(wù)所在的節(jié)點(diǎn)獲取輸出文件,減小了網(wǎng)絡(luò)連接數(shù),并提高了網(wǎng)絡(luò)I/O的性能。
　　本文提出了對(duì)MapReduce編程模型進(jìn)行性能分析的方法和分析指標(biāo)。通過(guò)作業(yè)生命周期,任