面向云計算的MapReduce并行編程模式的研究與應(yīng)用.pdf

1、高性能計算機的發(fā)展促使了高效能程序設(shè)計環(huán)境的產(chǎn)生與發(fā)展，尤其是并行編程模式的發(fā)展。一方面，由于并行機體系結(jié)構(gòu)的多樣性給并行程序的開發(fā)帶來了很多困難，因此怎樣簡化并行編程提高開發(fā)效率成為了一個關(guān)鍵問題。另一方面，面向云環(huán)境，如何提高并行計算的能力以實現(xiàn)在海量數(shù)據(jù)中獲取有價值的信息也成為了互聯(lián)網(wǎng)中極需解決的問題。針對上述兩個問題，Google公司研發(fā)了一種新的并行編程模型MapReduce，它在高抽象層次上以易使用和易理解的方式來簡單高效地

2、解決并行計算問題。
　　 論文在研究并行編程模型及其具體的并行程序開發(fā)模式的基礎(chǔ)上，緊緊圍繞云計算及其關(guān)鍵技術(shù)MapReduce并行編程模式展開研究，通過對MapReduce的實現(xiàn)框架、執(zhí)行過程及其實現(xiàn)平臺進行分析與應(yīng)用，取得了以下研究成果：
　　 1、針對MapReduce缺乏一個快速高效的標準或規(guī)則來調(diào)整和優(yōu)化其作業(yè)執(zhí)行性能的問題，本文提出了提高MapReduce性能的幾種技巧，先描述問題出現(xiàn)的狀況，再提出具體的解決

3、方法，最后在集群上進行測試實驗，且給出了使用技巧前后的對比性測試數(shù)據(jù)，可給MapReduce作業(yè)的開發(fā)者提供幫助。
　　 2、通過對MapReduce模型執(zhí)行過程的分析，針對單源最短路徑算法難以隨著云計算的產(chǎn)生和發(fā)展而得以廣泛應(yīng)用，其搜索效率也難以提高的問題，本文設(shè)計和實現(xiàn)了一種基于MapReduce框架的單源最短路徑算法的并行方法，并基于Hadoop平臺集群環(huán)境進行了研究與實驗，且分別對該問題的并行加速比、效率及可擴放性進行了