布谷鳥搜索改進的K-means聚類算法及其并行化實現(xiàn).pdf

1、隨著計算機和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，數(shù)據(jù)量呈爆發(fā)式增長，海量數(shù)據(jù)的高效處理和利用成為當前社會面臨的最艱巨任務之一；同時如何高效率、低成本、準確地從現(xiàn)有的海量數(shù)據(jù)中挖掘出潛在、有用的知識是數(shù)據(jù)挖掘領域研究面臨的一大難題。以K-means算法為代表的聚類分析是數(shù)據(jù)挖掘領域最重要的研究方向之一，K-means是一種典型的基于劃分方法的聚類算法，具有思路簡單、收斂速度快、時間復雜度近似于線性等特點，較適合應用于海量數(shù)據(jù)的聚類；群體仿生優(yōu)化算法能夠

2、利用群體優(yōu)勢、并行搜索，以全局尋優(yōu)的方式快速獲得優(yōu)化問題最優(yōu)解，被認為是目前處理 K-means聚類優(yōu)化問題最行之有效的方法。當前已有很多學者基于多種不同的群體仿生智能算法對K-means聚類算法進行優(yōu)化，但現(xiàn)有的K-means聚類改進算法還存在以下兩個問題需進一步完善：
　?、倬垲愡^程中的全局尋優(yōu)能力不夠突出，容易陷入局部最優(yōu)；
　?、谠跀?shù)據(jù)量較大時的聚類效率不高，沒有充分利用服務器集群優(yōu)勢。
　　作者所做的主要工作

3、包括：
　　①提出一種新型元啟發(fā)式基于仿生行為的改進的布谷鳥搜索算法（Quantum-based Adaptive Cuckoo Search，QACS），解決了原始布谷鳥算法搜索步長的自適應性問題，并引入量子運算使該算法的搜索方向具有一定的傾向性。
　?、卺槍-means聚類算法易陷入局部最優(yōu)的問題，將新算法QACS與 K-means聚類算法相結(jié)合，提出了一種新的串行K-means聚類算法（K-means cluster

4、ing algorithm based on QACS，QACS-KMeans），提高了K-means聚類算法的全局搜索能力；
　?、坩槍-means聚類算法在處理較大數(shù)據(jù)量時效率較低的問題，利用Hadoop分布式平臺的MapReduce編程模型實現(xiàn)了對新算法QACS-KMeans的并行化處理。
　　通過在虛擬機中搭建的Hadoop偽分布式集群對不同樣本數(shù)據(jù)集分別進行10次準確性實驗和效率實驗，結(jié)果表明：
　?、俨⑿?/p>

5、QACS-KMeans新算法聚類的平均準確率在實驗所采用的6種UCI標準數(shù)據(jù)集上，相比原始K-means聚類算法、利用粒子群優(yōu)化算法(Particle Swarm Optimization,PSO)改進的K-means聚類算法和自適應布谷鳥搜索(Adaptive Cuckoo Search,ACS)改進的K-means聚類算法都有所提高；
　?、诓⑿蠶ACS-KMeans新算法聚類的平均運行效率在實驗所采用的5種大小遞增的隨機數(shù)據(jù)