基于Hadoop平臺(tái)的分布式EM聚類算法.pdf

1、隨著“大數(shù)據(jù)”概念的出現(xiàn)，國(guó)內(nèi)外研究學(xué)者越發(fā)集中關(guān)注如何從大數(shù)據(jù)中獲取有價(jià)值的知識(shí)，如何運(yùn)用智能算法從海量數(shù)據(jù)中發(fā)現(xiàn)有意義的模式和規(guī)則以及如何借助有效工具從數(shù)據(jù)海洋中提取對(duì)領(lǐng)導(dǎo)決策具有支撐和引導(dǎo)作用的信息。聚類分析作為數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要研究方向，是一種將數(shù)據(jù)對(duì)象劃分成若干簇或類的過(guò)程，使同一類中的對(duì)象高度相似，而不同類之間的對(duì)象具有較大的差異。然而隨著數(shù)據(jù)規(guī)模的迅猛增長(zhǎng)，單機(jī)串行的聚類算法遇到了瓶頸，主要表現(xiàn)在數(shù)據(jù)無(wú)法一次性裝入內(nèi)存

2、、執(zhí)行效率差、無(wú)法實(shí)現(xiàn)并行處理等方面。Hadoop分布式計(jì)算技術(shù)的出現(xiàn)及發(fā)展為解決這類問(wèn)題提供了一種有效的手段。
　　Hadoop分布式平臺(tái)通過(guò)HDFS(分布式文件系統(tǒng))存儲(chǔ)海量數(shù)據(jù)，并結(jié)合MapReduce編程框架實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)集的并行處理?？蒲泄ぷ髡吆陀脩艨梢愿鶕?jù)串行聚類算法的特點(diǎn)，結(jié)合MapReduce編程框架，在不需要過(guò)多了解Hadoop平臺(tái)底層細(xì)節(jié)的情況下，能夠很容易的實(shí)現(xiàn)算法的并行化，從而提高算法的執(zhí)行效率，幫助人們

3、從大數(shù)據(jù)中獲取有價(jià)值的信息和知識(shí)。
　　在聚類分析中，合理設(shè)置初始化參數(shù)是基于高斯混合模型的EM聚類算法的關(guān)鍵指標(biāo)。初始化參數(shù)的選取和設(shè)置不僅會(huì)影響算法的迭代次數(shù)和算法執(zhí)行的復(fù)雜度，而且會(huì)影響到最終的聚類結(jié)果。因此，一個(gè)良好的初始化參數(shù)選取機(jī)制可以在減少迭代次數(shù)的同時(shí)，提高聚類結(jié)果的準(zhǔn)確度。本文通過(guò)對(duì)隨機(jī)初始化、K均值初始化、層次聚類初始化等傳統(tǒng)初始化方法進(jìn)行分析研究，提出了基于密度的MergeC方法。該方法依據(jù)每類樣本中心部位密

4、度大、邊緣部位密度小的特點(diǎn)，將各類中心部位的最優(yōu)候選中心提取出來(lái)進(jìn)行加權(quán)合并，從而得到高斯混合模型的參數(shù)值。通過(guò)實(shí)驗(yàn)和分析表明，該方法是高效、可行的。
　　針對(duì)傳統(tǒng)EM算法中存在數(shù)據(jù)需要多次載入內(nèi)存、并行性較差以及執(zhí)行效率不高等問(wèn)題，本文將串行EM算法與MapReduce框架結(jié)合，給出了基于Hadoop平臺(tái)的分布式EM聚類算法，實(shí)現(xiàn)了EM算法的分布式并行處理方案。該算法通過(guò)合理的冗余操作，采用MeanMapReduce和VarMa