基于MapReduce的自適應密度聚類算法研究.pdf

1、隨著數(shù)據(jù)的爆炸式增長,單機聚類算法無論是存儲能力還是處理能力都無法滿足海量數(shù)據(jù)的聚類,必須尋求并行化的解決方案。Google提出的分布式編程模型MapReduce給并行聚類帶來了新的希望,因此,論文提出了一種基于MapReduce的自適應密度聚類算法。
　　論文首先針對DBSCAN無法處理變化密度的聚類和參數(shù)敏感的問題進行了改進,提出了一種自適應的密度聚類算法ADC。算法將一個點到其第k個最鄰近鄰居的距離定義為密度,使用密度變化率

2、來識別簇邊界,當且僅當一個點的最鄰近鄰居中至少有k個點的密度與該點的密度變化率小于用戶給定的閾值,該點才為核點,并且閾值在運行時自動動態(tài)調整。其次,論文在ADC的基礎上,提出了一種基于MapReduce的聚類算法MR-ADC,算法包括五個步驟:1)對數(shù)據(jù)進行歸一化;2)將歸一化后的數(shù)據(jù)均勻的劃分為若干個塊;3)在劃分后的每一個塊上分別應用改進的ADC算法進行聚類,并且將靠近劃分邊界的點寫入HDFS;4)對劃分邊界的點進行分析,將局部簇合