基于Hadoop平臺的分布式EM聚類算法.pdf

1、隨著“大數(shù)據(jù)”概念的出現(xiàn)，國內(nèi)外研究學(xué)者越發(fā)集中關(guān)注如何從大數(shù)據(jù)中獲取有價值的知識，如何運(yùn)用智能算法從海量數(shù)據(jù)中發(fā)現(xiàn)有意義的模式和規(guī)則以及如何借助有效工具從數(shù)據(jù)海洋中提取對領(lǐng)導(dǎo)決策具有支撐和引導(dǎo)作用的信息。聚類分析作為數(shù)據(jù)挖掘領(lǐng)域的一個重要研究方向，是一種將數(shù)據(jù)對象劃分成若干簇或類的過程，使同一類中的對象高度相似，而不同類之間的對象具有較大的差異。然而隨著數(shù)據(jù)規(guī)模的迅猛增長，單機(jī)串行的聚類算法遇到了瓶頸，主要表現(xiàn)在數(shù)據(jù)無法一次性裝入內(nèi)存

2、、執(zhí)行效率差、無法實(shí)現(xiàn)并行處理等方面。Hadoop分布式計算技術(shù)的出現(xiàn)及發(fā)展為解決這類問題提供了一種有效的手段。
　　Hadoop分布式平臺通過HDFS(分布式文件系統(tǒng))存儲海量數(shù)據(jù)，并結(jié)合MapReduce編程框架實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)集的并行處理?？蒲泄ぷ髡吆陀脩艨梢愿鶕?jù)串行聚類算法的特點(diǎn)，結(jié)合MapReduce編程框架，在不需要過多了解Hadoop平臺底層細(xì)節(jié)的情況下，能夠很容易的實(shí)現(xiàn)算法的并行化，從而提高算法的執(zhí)行效率，幫助人們

3、從大數(shù)據(jù)中獲取有價值的信息和知識。
　　在聚類分析中，合理設(shè)置初始化參數(shù)是基于高斯混合模型的EM聚類算法的關(guān)鍵指標(biāo)。初始化參數(shù)的選取和設(shè)置不僅會影響算法的迭代次數(shù)和算法執(zhí)行的復(fù)雜度，而且會影響到最終的聚類結(jié)果。因此，一個良好的初始化參數(shù)選取機(jī)制可以在減少迭代次數(shù)的同時，提高聚類結(jié)果的準(zhǔn)確度。本文通過對隨機(jī)初始化、K均值初始化、層次聚類初始化等傳統(tǒng)初始化方法進(jìn)行分析研究，提出了基于密度的MergeC方法。該方法依據(jù)每類樣本中心部位密

4、度大、邊緣部位密度小的特點(diǎn)，將各類中心部位的最優(yōu)候選中心提取出來進(jìn)行加權(quán)合并，從而得到高斯混合模型的參數(shù)值。通過實(shí)驗(yàn)和分析表明，該方法是高效、可行的。
　　針對傳統(tǒng)EM算法中存在數(shù)據(jù)需要多次載入內(nèi)存、并行性較差以及執(zhí)行效率不高等問題，本文將串行EM算法與MapReduce框架結(jié)合，給出了基于Hadoop平臺的分布式EM聚類算法，實(shí)現(xiàn)了EM算法的分布式并行處理方案。該算法通過合理的冗余操作，采用MeanMapReduce和VarMa