基于Hadoop和Hama平臺(tái)的并行算法研究.pdf

1、當(dāng)前，隨著Internet的不斷發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)呈現(xiàn)爆炸性的增長(zhǎng)。如何對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)和處理成為新的挑戰(zhàn)。處理大數(shù)據(jù)一般是使用性能較高的服務(wù)器或者是服務(wù)器集群。這一方案存在價(jià)格昂貴，擴(kuò)展性差等缺點(diǎn)。因此越來(lái)越多的研究人員把目光投向并行計(jì)算和云計(jì)算。云計(jì)算對(duì)大數(shù)據(jù)的處理和挖掘有著天然的優(yōu)勢(shì)。
　　 本文正是以此為出發(fā)點(diǎn)，旨在對(duì)基于Hadoop和Hama云計(jì)算平臺(tái)如何實(shí)現(xiàn)算法并行化進(jìn)行研究。本文首先介紹了Hadoop和Hama

2、云計(jì)算平臺(tái)，MapReduce和Bsp編程模式的關(guān)鍵技術(shù)。之后基于現(xiàn)有的實(shí)驗(yàn)資源搭建Hadoop和Hama云計(jì)算環(huán)境用于并行算法的實(shí)現(xiàn)與測(cè)試。
　　 本文重點(diǎn)是如何使用Hadoop和Hama云計(jì)算平臺(tái)實(shí)現(xiàn)一些算法的并行化。主要包括基于Hadoop平臺(tái)實(shí)現(xiàn)相關(guān)數(shù)據(jù)挖掘算法和圖論算法的并行化，基于Hadoop平臺(tái)矩陣乘法的并行化，基于Hama平臺(tái)圖論算法的并行化。
　　 許多基于MapReduce實(shí)現(xiàn)的并行算法都是迭代算法，

3、如文章中介紹的K-means聚類(lèi)算法，單源最短路徑算法等。本文創(chuàng)新性地對(duì)這一類(lèi)算法進(jìn)行總結(jié)和歸納，得出了這一類(lèi)算法的一般編程步驟，并對(duì)相關(guān)的數(shù)據(jù)存儲(chǔ)方式的性能進(jìn)行分析?；贐sp編程模式文章中主要介紹和實(shí)現(xiàn)了三個(gè)算法：計(jì)算π值，求無(wú)向圖的連通分量，單源最短路徑算法。
　　 Hadoop和Hama都有其自身的適用環(huán)境，本文分別對(duì)基于Hadoop平臺(tái)和Hama平臺(tái)實(shí)現(xiàn)的無(wú)向圖連通分量算法進(jìn)行理論分析和比較，最后通過(guò)實(shí)驗(yàn)對(duì)兩者的性能進(jìn)