云計(jì)算中的MapReduce并行編程模式研究.pdf

1、云計(jì)算是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算的發(fā)展,使并行技術(shù)走進(jìn)了人們的生活。云計(jì)算、個(gè)人高性能計(jì)算機(jī)(PHPC)等技術(shù)的深入發(fā)展,使許多技術(shù)人員開始從單機(jī)工作模式向并行計(jì)算模式轉(zhuǎn)變。云計(jì)算的逐步普及使并行程序設(shè)計(jì)成為許多程序設(shè)計(jì)人員必須面對(duì)和解決的一個(gè)關(guān)鍵性問題。
　　Google提出的 MapReduce并行編程模式極大的降低了并行程序的開發(fā)難度。與傳統(tǒng)的分布式程序設(shè)計(jì)相比,MapReduce封裝了并行處理、容錯(cuò)處理、本地化計(jì)算、

2、負(fù)載均衡等細(xì)節(jié),還提供了一個(gè)簡(jiǎn)單而強(qiáng)大的編程接口,極大的簡(jiǎn)化了并行程序設(shè)計(jì)的難度。
　　本文首先介紹了云計(jì)算的概念、基本理論和研究現(xiàn)狀,闡述了幾種傳統(tǒng)的并行編程模式,分析和研究的它們的原理和發(fā)展。對(duì)Google云計(jì)算和Hadoop云計(jì)算架構(gòu)進(jìn)行了簡(jiǎn)要的介紹,并將MapReduce與MPI進(jìn)行比較,研究?jī)烧叩膮^(qū)別與各自優(yōu)勢(shì)。
　　文中詳細(xì)地闡述了 MapReduce的編程思想,分析和研究了 MapReduce解決問題的工作原理

3、、具體步驟和方法。介紹了 MapReduce的容錯(cuò)機(jī)制,并對(duì)MapReduce作業(yè)的調(diào)度算法進(jìn)行了詳細(xì)的分析。研究了 MapReduce在異構(gòu)Hadoop集群環(huán)境下的性能差異,分析了異構(gòu)環(huán)境對(duì) MapReduce性能的影響。本文提出一種新的數(shù)據(jù)分配機(jī)制HDDM,以集群中各異構(gòu)節(jié)點(diǎn)的計(jì)算比率為依據(jù)來分配輸入文件,提高了MapReduce在異構(gòu)Hadoop集群中的性能。
　　最后通過實(shí)驗(yàn)證明,我們提出的數(shù)據(jù)分配機(jī)制 HDDM能夠極大的