基于分布式計算的AP聚類并行化方法研究與應(yīng)用.pdf

1、聚類是一種基于數(shù)據(jù)對象的特征對數(shù)據(jù)集進行聚合的數(shù)據(jù)挖掘方法，主要目的是聚集相似的數(shù)據(jù)對象。隨著傳統(tǒng)互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)的飛速發(fā)展，企業(yè)和用戶產(chǎn)生的數(shù)據(jù)呈爆炸式增長，面對海量數(shù)據(jù)時傳統(tǒng)的聚類挖掘計算極為耗時，不能有效地滿足數(shù)據(jù)挖掘的時效性需求。因此，為了應(yīng)對海量數(shù)據(jù)的處理，算法優(yōu)化與并行化研究成為熱點。
　　AP聚類算法是近幾年提出的一種新型的方法，目前已被廣泛研究與應(yīng)用。與K-Means等算法相比，AP聚類不需要預(yù)設(shè)聚類中心，它把每

2、個數(shù)據(jù)對象都視為潛在的聚類中心，通過數(shù)據(jù)對象間相互傳遞消息自動產(chǎn)生聚類中心。但這種聚類算法的時空復(fù)雜度較高，隨著數(shù)據(jù)量的增大，整個計算耗時也迅速增大。為了使AP聚類算法能有效應(yīng)用于海量數(shù)據(jù)分析，本文即主要研究并實現(xiàn)AP聚類算法的并行化方法，使聚類算法可在云計算集群環(huán)境下自動高效地并行化執(zhí)行。
　　Hadoop是一種開源的分布式計算框架，基于Google的MapReduce并行化思想將并行化的底層實現(xiàn)細節(jié)作了封裝，使得開發(fā)人員只需關(guān)

3、注并行的策略方法。針對Hadoop在處理迭代式算法的不足，Berkeley提出了Spark分布式內(nèi)存計算框架，通過將數(shù)據(jù)轉(zhuǎn)化為RDD進行緩存有效提升了迭代式算法的執(zhí)行性能。本文在分析兩種計算平臺的特點基礎(chǔ)上，首先設(shè)計實現(xiàn)了并行的AP聚類算法，并分析了并行算法的性能以及兩種平臺下并行算法執(zhí)行的性能差異；再通過KDD99的入侵檢測海量數(shù)據(jù)集的測試實驗，表明在兩個計算平臺下并行AP聚類算法都具有良好的加速比和擴展性，且經(jīng)由Spark內(nèi)存計算框