K-means算法與智能算法融合的研究.pdf

1、數(shù)據(jù)挖掘的基本含義就是從海量、不完全、有噪音的數(shù)據(jù)中獲取對(duì)用戶(hù)來(lái)說(shuō)有直接或間接價(jià)值的信息。聚類(lèi)分析的顯著特征就是不需要任何先驗(yàn)知識(shí)或信息，只是根據(jù)事物之間的某些屬性，把事物聚集成類(lèi)，同時(shí)要盡可能滿(mǎn)足同一個(gè)簇內(nèi)和簇間的高內(nèi)聚、低耦合要求。聚類(lèi)是一種無(wú)導(dǎo)師監(jiān)督的學(xué)習(xí)方法，聚類(lèi)分析技術(shù)的迅速發(fā)展使得它被廣泛地應(yīng)用于科研和生活中的各個(gè)方面，是數(shù)據(jù)挖掘領(lǐng)域重要的分支之一。K-means算法是典型的一種劃分聚類(lèi)算法，由于算法簡(jiǎn)單而且易于實(shí)現(xiàn)，受到很

2、多科研人員的關(guān)注，但同時(shí)也存在一些缺點(diǎn)，如對(duì)初始中心點(diǎn)的選擇較為敏感，同樣的數(shù)據(jù)集不同的初始化可能會(huì)有不一樣的結(jié)果，特別是面對(duì)不規(guī)則的數(shù)據(jù)集或者是大數(shù)據(jù)集時(shí)更是如此。
　　遺傳算法是模仿生物界自然選擇和進(jìn)化機(jī)制的一種智能算法，以染色體為基本運(yùn)算單位，通過(guò)染色體之間的交叉、變異、復(fù)制然后采用事先設(shè)定的評(píng)價(jià)函數(shù)最終選擇出最優(yōu)的個(gè)體。遺傳算法具有潛在的并行性、較強(qiáng)的魯棒性、問(wèn)題無(wú)關(guān)性、全局最優(yōu)性等優(yōu)點(diǎn)，從而得到了廣泛的研究和應(yīng)用。云計(jì)算

3、是大數(shù)據(jù)時(shí)代來(lái)臨的必然產(chǎn)物，Map-Reduce計(jì)算模型是Hadoop平臺(tái)里的一個(gè)組織架構(gòu)，它是模仿Google云計(jì)算平臺(tái)架構(gòu)下的免費(fèi)的、開(kāi)源的一個(gè)云計(jì)算平臺(tái)。近些年人們對(duì)云計(jì)算的研究大多是在這個(gè)平臺(tái)下進(jìn)行的。本文提出了一種在Hadoop平臺(tái)下，將遺傳k-means算法并行化設(shè)計(jì)實(shí)現(xiàn)，這樣就可以避免基于MPI并行化繁瑣設(shè)計(jì)同時(shí)可以提高算法的運(yùn)行效率以及聚類(lèi)的準(zhǔn)確性。
　　螞蟻算法是近年來(lái)人們研究的熱點(diǎn)，主要原理是研究螞蟻活動(dòng)過(guò)程中

4、利用分泌的信息素，然后根據(jù)信息素濃度的不同來(lái)找到最佳的路徑或方法。螞蟻算法除了經(jīng)常應(yīng)用在人們熟悉的TSP等問(wèn)題中，基于螞蟻覓食以及尸體堆積的聚類(lèi)算法中也越來(lái)越受到關(guān)注。基于螞蟻覓食的聚類(lèi)算法利用螞蟻的群體智能性往往可以得到較好的聚類(lèi)結(jié)果但是在聚類(lèi)的初期由于信息素的匱乏，螞蟻算法的收斂速度較慢，針對(duì)這個(gè)缺點(diǎn)本文提出對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，采用基于密度和距離的方法來(lái)選擇初始的聚類(lèi)中心，然后據(jù)此生成初始的信息素不均勻分布從而加快了算法的收斂時(shí)間。