Hadoop Map Reduce Shuffle過程優(yōu)化方案研究.pdf

1、Hadoop MapReduce是基于Google提出的MapReduce模型實現(xiàn)的一個開源分布式編程框架。通過對Hadoop MapReduce作業(yè)運行過程中數(shù)據(jù)傳輸階段的源碼詳細分析得出，MapReduce系統(tǒng)在傳輸中間數(shù)據(jù)過程中每個Map任務和Reduce任務之間都要建立一條鏈接，因此包含多個Map任務和Reduce任務的大型作業(yè)運行過程中集群中由于數(shù)據(jù)傳輸?shù)脑虼嬖诖罅烤W(wǎng)絡鏈接，容易導致網(wǎng)絡擁塞從而使作業(yè)運行變慢。部分Map任務

2、中單個鍵值對數(shù)據(jù)量很小，和Reduce任務建立鏈接后只傳送少量數(shù)據(jù)，鏈接利用率不高。此外，Hadoop默認使用HTTP網(wǎng)絡進行數(shù)據(jù)傳輸，低速的網(wǎng)絡協(xié)議也是限制系統(tǒng)性能的因素。
　　為了減輕MapReduce過程中大量網(wǎng)絡鏈接造成的網(wǎng)絡負荷，進一步優(yōu)化Hadoop數(shù)據(jù)混洗階段網(wǎng)絡I/O過程，一種改進方案就是將Map任務進行分組，分組中的數(shù)據(jù)先進行合并。在每組Map任務中選出一個代表將組內(nèi)其他任務的輸出數(shù)據(jù)統(tǒng)一收集起來，Reduce任

3、務直接從這一個Map任務就可以得到整個組的數(shù)據(jù)。通過讀Shuffle服務調(diào)度器的改寫利用特定的分組策略實現(xiàn)對Map任務分組，可以極大減少集群運行過程中Map任務和Reduce任務之間的數(shù)據(jù)傳輸鏈路，同時由于分組使得數(shù)據(jù)聚集，最終Map輸出數(shù)據(jù)中單個分片對應的數(shù)據(jù)量增加，對應的鏈接進行傳輸?shù)臄?shù)據(jù)量也相應增加，提高了鏈接利用率。同時使用高速RDMA網(wǎng)絡協(xié)議代替原來的HTTP網(wǎng)絡協(xié)議作為節(jié)點之間數(shù)據(jù)交換的方式可以進一步提高Hadoop系統(tǒng)性能