HAMA計(jì)算平臺(tái)的性能研究.pdf

1、分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)，它研究如何將計(jì)算非常復(fù)雜巨大的任務(wù)劃分為若干個(gè)計(jì)算量較小的任務(wù)進(jìn)行處理，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果整合到一起得到最終結(jié)果。分布式計(jì)算與并行計(jì)算有所區(qū)別，它要求處理的任務(wù)相互獨(dú)立，即使上一個(gè)任務(wù)的結(jié)果出現(xiàn)錯(cuò)誤，也不會(huì)影響下一個(gè)任務(wù)的處理，同時(shí)對(duì)最終結(jié)果影響不大。因此，分布式計(jì)算對(duì)實(shí)時(shí)性要求不高，而且具有良好的容錯(cuò)性。
　　分布式計(jì)算的多種優(yōu)勢(shì)吸引了大量的研發(fā)力量去開(kāi)發(fā)分布式

2、文件系統(tǒng)，比較有影響力的分布式文件系統(tǒng)有Google的GFS、Apache的HDFS等，它們具有擅長(zhǎng)處理大量數(shù)據(jù)的優(yōu)點(diǎn)。然而，Hadoop針對(duì)文件處理功能的大量?jī)?yōu)化反而降低了其單純的計(jì)算能力。專門(mén)針對(duì)大規(guī)?？茖W(xué)計(jì)算的軟件框架避免了此類問(wèn)題，比較成熟的有Google圖算法引擎Pregel、Apache的HAMA等。
　　HAMA是建立在Hadoop上的分布式并行計(jì)算模型，它基于MapReduce和BSP(Bulk Synchrono

3、us Paralle塊同步并行)的實(shí)現(xiàn)框架，運(yùn)行環(huán)境需要關(guān)聯(lián)Zookeeper、HBase、HDFS組件。采用BSP計(jì)算技術(shù)最大的好處就是加快迭代速度，在最終輸出可用數(shù)據(jù)之前迭代過(guò)程需要傳遞消息若干次。
　　與傳統(tǒng)消息傳遞模型相比，HAMA提供一種簡(jiǎn)易編程方法。它能通過(guò)簡(jiǎn)單API為開(kāi)發(fā)者和研究人員提供基礎(chǔ)平臺(tái)。此方法也適用于靈活編程模型和分布式存儲(chǔ)，比如HDFS、Hbase等，因此可以在現(xiàn)有的Hadoop集群上使用HAMA。

4、>　　本文分析了一些比較有影響力的分布式系統(tǒng)，通過(guò)對(duì)比各個(gè)系統(tǒng)的優(yōu)缺點(diǎn)，引出擅長(zhǎng)大規(guī)?？茖W(xué)計(jì)算的編程框架HAMA。本文深入研究BSP模型和HAMA整體框架，將其與當(dāng)前廣泛應(yīng)用的Hadoop作對(duì)比，通過(guò)大量實(shí)驗(yàn)數(shù)據(jù)分析HAMA和Hadoop的計(jì)算性能。為保證實(shí)驗(yàn)的公平性，HAMA和Hadoop都在相同的實(shí)驗(yàn)環(huán)境下運(yùn)行，在HAMA和Hadoop上實(shí)現(xiàn)蒙特卡羅算法，除了Hadoop編程實(shí)現(xiàn)MapReduce接口與HAMA編程實(shí)現(xiàn)BSP模型接口