數(shù)據(jù)密集型計算環(huán)境下聚類算法的研究.pdf

1、近年來，數(shù)據(jù)密集型計算越來越得到相關學者的關注。數(shù)據(jù)密集型計算環(huán)境下的數(shù)據(jù)具有海量、高速變化、分布、異構(gòu)、半結(jié)構(gòu)化或非結(jié)構(gòu)化的特點，傳統(tǒng)的數(shù)據(jù)挖掘算法已經(jīng)不能滿足其處理要求。如何從具有這些數(shù)據(jù)特點的數(shù)據(jù)中挖掘出有效的信息，成為當前數(shù)據(jù)挖掘領域所面臨的一大挑戰(zhàn)。
　　聚類分析是當前一種常用的數(shù)據(jù)挖掘工具，是將無規(guī)則的數(shù)據(jù)點依據(jù)某一方面的相似性分成若干類，使得每個類中的所有數(shù)據(jù)點在該方面相似性最大，不同類中的數(shù)據(jù)點在該方面相似性最小的

2、過程。常見的聚類分析算法有分割方法、層次方法、基于密度的方法、基于網(wǎng)格的方法和基于約束的方法等。本文分析了數(shù)據(jù)密集型計算環(huán)境下數(shù)據(jù)的特點，介紹了聚類分析的相關理論知識，重點討論了基于劃分的k-means算法和基于密度的DBSCAN算法；介紹了開源項目Hadoop以及相關子項目，特別是對Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）和MapReduce編程模型進行了深入的分析和研究。
　　

3、本文基于MapReduce編程模型，討論了k-means算法及DBSCAN算法在數(shù)據(jù)密集型計算環(huán)境下的實現(xiàn)。針對k-means算法對局部數(shù)據(jù)集的魯棒性較差、準確率低，而在主節(jié)點對全局數(shù)據(jù)集具有較好的伸縮性及準確率；局部分節(jié)點容易產(chǎn)生較多的噪聲點和異常點，而DBSCAN算法可有效的識別噪聲點及異常點等特點，取長補短，優(yōu)化兩種聚類算法，提出一種改進的基于MapReduce的聚類算法IDBDC；局部聚類采用DBSCAN算法的優(yōu)化，全局聚類采用

4、k-means算法的優(yōu)化，使其適用于數(shù)據(jù)密集型計算環(huán)境下的數(shù)據(jù)分析挖掘。在MapReduce模型上的實現(xiàn)部分，劃分為三個階段，即Map階段、Combine階段和Reduce階段。分節(jié)點上的Map階段執(zhí)行DBSCAN算法，生成含有簇及噪聲點ID、數(shù)據(jù)點個數(shù)及密度的鍵值對，并由Combine階段進行相關合并，發(fā)送到主節(jié)點執(zhí)行Reduce階段全局的k-means算法。最后在Hadoop實驗環(huán)境下利用數(shù)據(jù)集DOCWORD.