基于Spark平臺(tái)的空間數(shù)據(jù)挖掘DBSCAN聚類(lèi)算法并行化研究.pdf

1、DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法是由Ester Martin等人提出的一種基于密度方法進(jìn)行聚類(lèi)分析的算法，具有發(fā)現(xiàn)任何形狀的簇類(lèi)、有效分辨噪聲點(diǎn)且對(duì)空間數(shù)據(jù)庫(kù)有良好支持的特點(diǎn)，已經(jīng)在空間數(shù)據(jù)挖掘（Spatial Data Mining, SDM）領(lǐng)域得到了廣泛的應(yīng)用。然而，在一些大規(guī)模的空間數(shù)據(jù)挖掘中，隨著計(jì)算數(shù)據(jù)規(guī)模的增大，DBS

2、CAN算法的處理時(shí)間呈指數(shù)級(jí)上升，串行算法性能已經(jīng)無(wú)法滿足應(yīng)用發(fā)展的實(shí)時(shí)性需求。針對(duì)這個(gè)問(wèn)題，主要是通過(guò)集群、GPU、Hadoop等平臺(tái)構(gòu)建并行 DBSCAN聚類(lèi)算法來(lái)解決，但是這些研究卻存在：傳統(tǒng)的并行處理平臺(tái)價(jià)格昂貴，可擴(kuò)展性及容錯(cuò)性較差，共享式架構(gòu)易造成數(shù)據(jù)傳輸瓶頸；Hadoop平臺(tái)在處理這類(lèi)多迭代的聚類(lèi)算法時(shí)，需要頻繁的進(jìn)行數(shù)據(jù)讀寫(xiě)，隨著數(shù)據(jù)量增大，處理效率將受到影響。Spark作為新一代的大規(guī)模數(shù)據(jù)處理快速通用引擎，抽象出彈性

3、分布式數(shù)據(jù)集（Resilient Distributed Dataset, RDD）來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ)，使得中間結(jié)果無(wú)須輸出到分布式文件系統(tǒng)，提高了數(shù)據(jù)處理的實(shí)時(shí)性，且保證了高擴(kuò)展性，容錯(cuò)性，可以很好地克服上述傳統(tǒng)并行平臺(tái)存在的問(wèn)題。
　　本研究主要內(nèi)容包括：⑴空間數(shù)據(jù)挖掘中DBSCAN聚類(lèi)算法并行化分析與并行方案設(shè)計(jì)。在實(shí)現(xiàn)DBSCAN聚類(lèi)算法的基礎(chǔ)上，使用Intel VTune性能分析工具得到DBSCAN聚類(lèi)算法中適合并行化的熱點(diǎn)

4、部分，并結(jié)合Spark平臺(tái)的平臺(tái)特征，設(shè)計(jì)合適的并行化方案。⑵基于單節(jié)點(diǎn)Spark平臺(tái)的DBSCAN并行聚類(lèi)算法的實(shí)現(xiàn)與優(yōu)化。結(jié)合并行框架和并行算法流程圖實(shí)現(xiàn)了基于單節(jié)點(diǎn)Spark平臺(tái)的DBSCAN并行聚類(lèi)算法。并從數(shù)據(jù)傳輸、數(shù)據(jù)序列化、資源參數(shù)三方面對(duì)單節(jié)點(diǎn)Spark平臺(tái)的并行算法進(jìn)行了優(yōu)化，進(jìn)一步提高并行算法的效率；同時(shí)將該算法與基于 OpenMP的并行算法進(jìn)行性能對(duì)比。⑶為充分利用節(jié)點(diǎn)上的計(jì)算資源，進(jìn)一步探討Spark集群模式下D

5、BSCAN聚類(lèi)算法的并行實(shí)現(xiàn)研究。采用基于Docker容器技術(shù)、Yarn(Yet Another Resource Negotiator)資源管理器、Mesos資源管理器對(duì)算法進(jìn)行并行化設(shè)計(jì)，使其能充分利用設(shè)備上的硬件資源，同時(shí)將該算法與基于傳統(tǒng)Hadoop集群平臺(tái)的并行算法進(jìn)行性能對(duì)比。⑷將基于Spark平臺(tái)的DBSCAN并行算法應(yīng)用于城市擁堵區(qū)域發(fā)現(xiàn)領(lǐng)域，驗(yàn)證本文提出的并行算法的實(shí)用性與高效性。⑸對(duì)以上的研究?jī)?nèi)容進(jìn)行了具體的測(cè)試分析