Hadoop平臺(tái)的MapReduce模型性能優(yōu)化研究.pdf

1、大數(shù)據(jù)時(shí)代不但帶來了數(shù)據(jù)量的迅猛增長、數(shù)據(jù)訪問的并發(fā)壓力,也對(duì)數(shù)據(jù)計(jì)算提出了更高的性能要求。云計(jì)算作為一種解決方案,被提出之后就得到了迅速發(fā)展。它近乎無限的存儲(chǔ)能力和計(jì)算能力為互聯(lián)網(wǎng)的發(fā)展指明了一個(gè)新的方向。Hadoop作為目前主流的云計(jì)算平臺(tái),也得到了廣泛的認(rèn)可和應(yīng)用。
　　Hadoop是一種高可用性、高伸縮性、高擴(kuò)展性的高性能大數(shù)據(jù)處理平臺(tái)。同時(shí)它又兼具低成本和開源優(yōu)勢。它的實(shí)現(xiàn)有兩個(gè)核心:HDFS(Hadoop Distri

2、buted File System)和MapReduce。HDFS是一個(gè)支持超大文件、流式訪問,并具有高吞吐量的分布式文件系統(tǒng)。MapReduce是一個(gè)將所有并行實(shí)現(xiàn)透明化,只為用戶提供簡單接口,并具有快速并行計(jì)算能力的并行編程模型。
　　本文首先介紹了Hadoop平臺(tái)的背景,包括它在技術(shù)背景上的產(chǎn)生與發(fā)展,在應(yīng)用背景上的應(yīng)用與前景。之后對(duì) Hadoop的關(guān)鍵技術(shù) HDFS、MapReduce和Scheduler進(jìn)行研究分析。在此

3、研究基礎(chǔ)之上,本文指出MapReduce應(yīng)用可在程序、參數(shù)和系統(tǒng)三個(gè)層面進(jìn)行優(yōu)化。程序和參數(shù)兩個(gè)層面實(shí)現(xiàn)優(yōu)化的可選項(xiàng)很多,本文在第三章對(duì)此作了詳細(xì)闡述。
　　Hadoop在管理資源中將內(nèi)存和CPU兩種計(jì)算資源捆綁在一起,然后再根據(jù)任務(wù)類型分為Map Slot和Reduce Slot兩種資源模型。這種管理機(jī)制實(shí)現(xiàn)簡單,但是存在資源囤積現(xiàn)象,降低了資源利用率。本文在第四章對(duì)這兩種計(jì)算資源進(jìn)行松綁,并定義了memSlot和cpuSlot

4、兩種資源模型。在資源分配時(shí),根據(jù)Map/Reduce的實(shí)際需求來派發(fā)兩種資源。在7節(jié)點(diǎn)的PC集群上對(duì)21GB的日志數(shù)據(jù)進(jìn)行處理,改進(jìn)方案實(shí)現(xiàn)了內(nèi)存利用率提升3.5％,CPU利用率提升4.3％,有效解決了資源囤積現(xiàn)象。
　　MapReduce應(yīng)用在運(yùn)行中會(huì)有大量的排序操作。這些排序大多又是迭代執(zhí)行,性能消耗較大。本文第五章以此為切入,重新梳理了Shuffle階段的執(zhí)行流程。研究了以更加高效的計(jì)數(shù)排序代替快速排序。同時(shí)根據(jù) Combi