異構(gòu)環(huán)境下MapReduce的算法重建與性能優(yōu)化.pdf

1、隨著個人計算機和互聯(lián)網(wǎng)革命，云計算被看做第三次IT浪潮，這將改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)嵏舱麄€行業(yè)格局。它會在人們的生活，生產(chǎn)方式和商業(yè)模式上帶來根本性的變化。
　　作為開放的云計算平臺Hadoop的重要組件，MapReduce是用于處理和生成大量數(shù)據(jù)集的一種分布式和并行計算模型。MapReduce從實現(xiàn)細節(jié)中抽象出業(yè)務(wù)邏輯，并提供功能強大的接口供程序員使用。它可以屏蔽底層的具體實現(xiàn)過程，有效地降低了分布式和并行計算難度，且具備

2、高可靠性，高擴展性，高效率，高容錯性的特點。然而，由于MapReduce機制本身的不完美和不成熟，其有必要進一步提高效率。根據(jù)對MapReduce的原理和性能指標(biāo)進行分析，在異構(gòu)環(huán)境中，資源調(diào)度存在不合理的問題，數(shù)據(jù)傳輸機制有待改進，系統(tǒng)參數(shù)可以進一步優(yōu)化。
　　為了提高異構(gòu)環(huán)境下MapReduce處理大數(shù)據(jù)集的效率，本文提出了三方面的優(yōu)化策略:自適應(yīng)的可移動窗口調(diào)度算法，變更數(shù)據(jù)傳輸協(xié)議(從HTTP到UDT)和優(yōu)化系統(tǒng)配置參數(shù)。

3、其中，自適應(yīng)的可移動窗口調(diào)度算法具備以下優(yōu)點:(1)基于優(yōu)先級的任務(wù)調(diào)度，根據(jù)優(yōu)先級分配執(zhí)行時間和系統(tǒng)資源;(2)考慮到集群的異構(gòu)性，基于不同節(jié)點的性能分配不同的任務(wù);(3)根據(jù)每個節(jié)點的負(fù)載水平，自動調(diào)整負(fù)載平衡，動態(tài)調(diào)整在TaskTracker上運行的任務(wù)數(shù)目;(4)改進了數(shù)據(jù)本地化調(diào)度算法，提出了基于節(jié)點等待時間的數(shù)據(jù)本地化策略;(5)改進了推測執(zhí)行策略和識別掉隊者(straggler)，特別是對于慢節(jié)點可以區(qū)分是Map慢節(jié)點還是

4、Reduce慢節(jié)點;(6)控制后備隊列中的任務(wù)數(shù)，以防止任務(wù)抖動。對于數(shù)據(jù)傳輸協(xié)議變更，UDT減少了數(shù)據(jù)傳輸過程中建立連接的次數(shù)，解決了HTTP擁塞控制機制在高帶寬長距離環(huán)境下的低效率問題。對于系統(tǒng)配置參數(shù)的優(yōu)化，通過對Map任務(wù)輸出的數(shù)據(jù)壓縮，減少文件傳輸?shù)臄?shù)量和降低帶寬成本;減少Reduce任務(wù)對內(nèi)存需求，并設(shè)置更多的內(nèi)存空間，可用于存儲更多的Map任務(wù)的輸出;調(diào)整的Map/Reduce任務(wù)數(shù)量比例，使任務(wù)分配更加合理和高效;在Sh