基于分布式平臺(tái)的聚類算法研究.pdf

1、聚類分析算法是數(shù)據(jù)挖掘領(lǐng)域的重要研究方向，在工業(yè)、商業(yè)和科研等領(lǐng)域越來(lái)越起到高效提取重要數(shù)據(jù)信息的作用。隨著各領(lǐng)域信息化進(jìn)程的快速發(fā)展，這些領(lǐng)域產(chǎn)生的數(shù)據(jù)量以爆發(fā)式的增長(zhǎng)，導(dǎo)致在傳統(tǒng)的單機(jī)聚類分析算法很難應(yīng)對(duì)如此大規(guī)模的數(shù)據(jù)量。因此將傳統(tǒng)聚類算法并行化，利用分布式平臺(tái)的強(qiáng)大計(jì)算能力，來(lái)彌補(bǔ)單機(jī)算法在性能上的不足。Hadoop作為近幾年來(lái)流行起來(lái)的大規(guī)模數(shù)據(jù)處理分布式計(jì)算平臺(tái)，由于其具有開(kāi)源性和易擴(kuò)展性等諸多優(yōu)點(diǎn)，被越來(lái)越多的企事業(yè)單位采

2、用，作為分布式計(jì)算平臺(tái)的解決方案，來(lái)應(yīng)對(duì)呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)膨脹的挑戰(zhàn)。因此本文研究如何將傳統(tǒng)的聚類算法在Hadoop平臺(tái)上進(jìn)行并行化實(shí)現(xiàn)。
　　CLARA算法作為一種聚類算法，它將統(tǒng)計(jì)學(xué)中的抽樣理論應(yīng)用到聚類中心點(diǎn)的選擇當(dāng)中。它的特點(diǎn)是能夠處理大規(guī)模數(shù)據(jù)并且具有較高的執(zhí)行效率。算法在執(zhí)行過(guò)程中有很多重復(fù)的操作執(zhí)行，在一定程度上還是影響了算法的執(zhí)行效率。為了能夠解決這個(gè)問(wèn)題，本文提出了將CLARA算法進(jìn)行并行化實(shí)現(xiàn)的想法。
　

3、　首先在研讀和分析過(guò)往單機(jī)聚類算法的原理和性能的基礎(chǔ)上，具體分析了CLARA算法的結(jié)構(gòu)特點(diǎn)，針對(duì)算法在執(zhí)行過(guò)程中存在復(fù)雜操作的問(wèn)題，從而提出利用統(tǒng)計(jì)學(xué)中平均值法近似求解的理論，來(lái)進(jìn)一步簡(jiǎn)化算法，并闡述了改進(jìn)的理論基礎(chǔ)和思路，以及設(shè)計(jì)改進(jìn)后算法的執(zhí)行流程。同時(shí)對(duì)改進(jìn)后的算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，證明了改進(jìn)算法的有效性。
　　然后結(jié)合MapReduce計(jì)算框架的技術(shù)特點(diǎn)，提出將原單機(jī)上聚類算法進(jìn)行MapReduce并行化的總體思路和分類。具