κ-means聚類算法的改進研究及其應用.pdf

1、數(shù)據(jù)挖掘是為使人們能夠充分理解和應用隱藏在數(shù)據(jù)中的有效信息和知識而發(fā)展起來的一門新興技術(shù)。聚類分析作為數(shù)據(jù)挖掘中的一種重要無監(jiān)督模式，大致可分為以下幾類方法:基于劃分的聚類方法、基于層次的聚類方法、基于網(wǎng)格的聚類方法、基于密度的聚類方法等。k-means算法是一種基于劃分的聚類算法，由于易行、高效等優(yōu)點，在遙感領(lǐng)域得到廣泛應用，但是隨著遙感技術(shù)的發(fā)展，遙感圖像中包含的數(shù)據(jù)量越來越大，并且k-means聚類算法易受初始中心點的制約。

2、>　　本文在對k-means聚類算法分析的基礎(chǔ)上，針對k-means聚類算法所存在的問題，對其進行了相應的改進，主要集中在以下兩個方面：⑴針對k-means聚類算法在處理大規(guī)模數(shù)據(jù)時，會消耗較大的內(nèi)存資源和計算成本，以至無法進行有效聚類的問題，提出一種采用MapReduce編程模型實現(xiàn)并行k-means聚類的方法。該方法首先將大規(guī)模數(shù)據(jù)分割成塊，然后分配到集群中的各個子節(jié)點上，對樣本數(shù)據(jù)進行聚類后，同步更新聚類中心再進行下一次聚類，直到

3、聚類中心不再變化。通過UCI數(shù)據(jù)集中的4組數(shù)據(jù)仿真實驗，驗證并行k-means算法的有效性，并采用數(shù)據(jù)規(guī)模較大的遙感數(shù)據(jù)驗證該方法對于遙感圖像處理的有效性，同時測試并行集群的加速比和可擴展性。⑵針對k-means算法受初始聚類中心和異常數(shù)據(jù)的制約，易出現(xiàn)不穩(wěn)定聚類結(jié)果的問題，提出一種基于差分進化的加權(quán)k-means算法。該算法首先基于差分進化算法，提出一種新的獲得更好初始聚類中心的方法;然后根據(jù)樣本對聚類分析影響的不同程度而引入權(quán)值，設(shè)