基于MapReduce的海量數(shù)據(jù)K-means聚類算法研究.pdf

1、聚類是數(shù)據(jù)挖掘中非常熱門的研究方向。聚類是將數(shù)據(jù)對象劃分為不同的簇的過程，其目的是使同簇中對象具有較高相似度，不同簇間對象相似度較低。隨著信息技術(shù)的快速發(fā)展與數(shù)據(jù)量的不斷擴張，人們對聚類算法的效率、可靠性以及可擴展性的要求逐漸提高，海量數(shù)據(jù)聚類變得尤為重要。在眾多聚類算法中，基于劃分的K-means聚類算法因其簡單性，一直深受歡迎。本文主要研究在海量數(shù)據(jù)環(huán)境下K-means聚類的性能優(yōu)化問題。
　　為滿足海量數(shù)據(jù)的處理需求，在單機

2、處理能力有限的情況下，分布式計算模型的應(yīng)用成為大勢所趨。很多學者借助MapReduce并行編程框架來進行K-means聚類計算，在計算性能方面有了一定的提高。但是，在利用MapReduce進行K-means計算時會有多次任務(wù)迭代，每次迭代時Mapper均需從HDFS文件系統(tǒng)上讀取原始數(shù)據(jù)，同時所有數(shù)據(jù)在整個集群網(wǎng)絡(luò)中洗牌，傳送給對應(yīng)的Reducer，這導致了高昂的I/O和網(wǎng)絡(luò)開銷，在目前并沒有被很好地解決。
　　針對MapRedu

3、ce處理K-means聚類時的瓶頸，本文提出了一種基于MapReduce的海量數(shù)據(jù)快速K-means計算模型，通過隨機均勻概率抽樣和迭代抽樣方法減少數(shù)據(jù)量，在MapReduce單個任務(wù)內(nèi)部進行迭代計算，避免了MapReduce在處理時任務(wù)重復啟動、海量數(shù)據(jù)重復讀取和多次網(wǎng)絡(luò)洗牌的弊端，從而降低I/O和網(wǎng)絡(luò)開銷，實現(xiàn)快速聚類，降低數(shù)據(jù)集中孤立點對于聚類結(jié)果的影響。同時，本文針對計算模型提出了兩種不同的中間數(shù)據(jù)合并策略WMC和DMC，分別從