基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究.pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)應(yīng)用的深入以及個人電腦、平板、智能手機(jī)、智能家居等終端設(shè)備的普及，全世界數(shù)據(jù)總量以飛快的速度遞增，我們已經(jīng)進(jìn)入了一個大數(shù)據(jù)的時代。面對如此大規(guī)模的海量數(shù)據(jù)，傳統(tǒng)的計算模型（單機(jī)模型和傳統(tǒng)并行計算模型）已經(jīng)很難應(yīng)對，應(yīng)用而生的分布式計算平臺為海量數(shù)據(jù)的處理提供了一種新的方式。分布式計算平臺與傳統(tǒng)的并行計算模型相比，它由底層來完成分割數(shù)據(jù)、任務(wù)分配、并行處理和容錯等功能，具有易于擴(kuò)展、學(xué)習(xí)、使用和部署等特點(diǎn)，是

2、一種簡潔抽象的并行編程模型。用戶只需要集中注意力解決自己需要的并行計算的任務(wù)，而不需要關(guān)心細(xì)節(jié)的并行實(shí)現(xiàn)，這大大簡化了并行程序的設(shè)計。將該模型運(yùn)用在算法并行化設(shè)計中，對于提升算法的執(zhí)行效率有著較高的現(xiàn)實(shí)應(yīng)用價值。本文利用該模型對聚類分析中DBSCAN算法進(jìn)行并行化研究，結(jié)果如下:
　　(1)提出了一種基于網(wǎng)格單元的數(shù)據(jù)分網(wǎng)格算法。該算法將每個分區(qū)上的數(shù)據(jù)集劃分成以DBSCAN的Eps半徑為邊長的單元格數(shù)據(jù)塊，這將極快的加速數(shù)據(jù)集中

3、數(shù)據(jù)對象查找Eps鄰域的速度，這樣就不需要在整個分區(qū)的所有數(shù)據(jù)集中查找某個數(shù)據(jù)對象的Eps鄰域，將查找Eps鄰域的范圍縮小到數(shù)據(jù)對象的八個相鄰單元格之內(nèi)。實(shí)驗結(jié)果證明這種算法提高了聚類速度，具有較好的加速比和擴(kuò)展率，在聚類速度上比傳統(tǒng)算法更快。
　　(2)提出了一種新的分區(qū)聚類合并方法。在充分利用了分布式計算平臺的優(yōu)點(diǎn)的同時，對數(shù)據(jù)分區(qū)聚類后所帶來的聚類合并問題進(jìn)行了優(yōu)化，本文采用對各分區(qū)邊界點(diǎn)再次聚類的方式，比較邊界點(diǎn)再次聚類的