基于MPI和MapReduce的分布并行計算研究.pdf

1、并行計算是提高計算機系統(tǒng)計算速度和處理能力的一種有效手段。MPI是目前開發(fā)并行應用程序的主要編程模型——消息傳遞編程模型的事實標準。Hadoop是一個在集群上處理大級別數(shù)據量的分布式并行編程框架,實現(xiàn)了Google的MapReduce編程模型,是目前最為廣泛應用的開源云計算軟件平臺。隨著PC機性能的大幅度提高和網絡技術的迅速發(fā)展,并行計算平臺在普通PC機構建的機群上能夠很好的應用,使得并行計算得以普遍應用。
　　 本文從應用和研

2、究的角度,對MPI并行編程模型和Hadoop分布式編程框架的相關理論進行了詳細的分析,設計了基于MPI的分子動力學模擬,對Hadoop作業(yè)調度算法進行了改進。論文主要的工作如下:
　　 1.介紹了并行計算的相關理論,論述了MPI主要的接口函數(shù)、通信機制、程序設計平臺搭建等,研究MPI實現(xiàn)并行計算的機制和方法,對云計算、Hadoop的分布式計算模型MapReduce和分布式文件系統(tǒng)HDFS、Hadoop容錯機制進行分析和研究,總結

3、了MPI與Hadoop的相同和不同點。
　　 2.設計了基于MPI并行編程模型的分子動力學并行模擬,在此基礎上通過改變模擬參數(shù)進行實驗。通過不同時間步數(shù)串行程序和并行程序耗時比較,分析模擬規(guī)模和模擬時間增加的關系,通過多節(jié)點多進程并行程序實驗結果分析節(jié)點個數(shù)和進程個數(shù)對計算時間的影響和系統(tǒng)的并行加速比。另外,本文通過通信時間分析計算節(jié)點個數(shù)和計算耗時的下降速率之間的關系,分析MPI聚合通信函數(shù)的執(zhí)行效率。
　　 3.將L