基于Hadoop平臺的Map-Reduce應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)和3G的迅猛發(fā)展,其數(shù)據(jù)具有海量、多樣、異構(gòu)、動態(tài)變化等特性。面對這些海量數(shù)據(jù),常常陷入“數(shù)據(jù)豐富,信息貧乏”的尷尬境地。如何高效地從這些海量數(shù)據(jù)中挖掘有效信息已成為一個重要的研究內(nèi)容。
　　在分析常見的分布式系統(tǒng)模型以及并行計算等相關(guān)技術(shù)的基礎(chǔ)上,結(jié)合MapReduce編程模型和Hadoop平臺的集群技術(shù),提出了基于Hadoop集群平臺的MapReduce編程模型的并行編程框架,該編程框架的特點是借助開源技術(shù)和當前流行

2、的分布式技術(shù)滿足算法并行執(zhí)行的需求,用該框架改進Canopy-Kmeans算法,使Canopy-Kmeans算法執(zhí)行效率得到提高。同時該框架適用于大量其它算法。
　　Canopy-Kmeans算法對傳統(tǒng)Kmeans算法的改進體現(xiàn)在兩個方面:利用Canopy算法選出初始的K個聚類中心有利于消除孤立點,提高聚類的準確性;再次就是將數(shù)據(jù)進行Canopy有覆蓋劃分,在計算點離哪個聚類中心最近時不必計算其到所有聚類中心的距離,只要計算和它在