分類(lèi)數(shù)據(jù)的并行聚類(lèi)算法研究.pdf

1、聚類(lèi)算法作為一種非監(jiān)督學(xué)習(xí)的方法，在很多領(lǐng)域都有大量應(yīng)用。目前，針對(duì)數(shù)值數(shù)據(jù)的聚類(lèi)分析已經(jīng)得到深入的研究，但針對(duì)數(shù)值數(shù)據(jù)的聚類(lèi)分析方法并不適合處理現(xiàn)實(shí)中存在的大量分類(lèi)數(shù)據(jù)。分類(lèi)數(shù)據(jù)由非數(shù)值的屬性組成，其聚類(lèi)模型與數(shù)值數(shù)據(jù)不同。大規(guī)模、高維度分類(lèi)數(shù)據(jù)的聚類(lèi)分析更具挑戰(zhàn)性。針對(duì)這一問(wèn)題，本文對(duì)分類(lèi)數(shù)據(jù)聚類(lèi)算法特別是并行聚類(lèi)算法進(jìn)行深入研究，對(duì)已有的一個(gè)分類(lèi)數(shù)據(jù)聚類(lèi)算法進(jìn)行改進(jìn)并在Hadoop平臺(tái)上實(shí)現(xiàn)了這個(gè)改進(jìn)算法的并行化。
　　首先

2、，在分析研究聚類(lèi)算法，特別是分類(lèi)數(shù)據(jù)的并行聚類(lèi)算法之后，深入分析了代表性的分類(lèi)數(shù)據(jù)聚類(lèi)算法CLOPE。CLOPE采用一種基于統(tǒng)計(jì)直方圖的全局評(píng)估函數(shù)作為評(píng)價(jià)聚類(lèi)優(yōu)劣的標(biāo)準(zhǔn)，在大規(guī)模、稀疏、高維數(shù)據(jù)集的聚類(lèi)上取得很好的聚類(lèi)效果。然而該算法受輸入數(shù)據(jù)記錄的順序影響，難以獲得穩(wěn)定且全局最優(yōu)的聚類(lèi)劃分結(jié)果。因此提出一種基于等分劃分再排列思想的MRCLOPE算法來(lái)克服這一不足。在MRCLOPE算法的每一次迭代過(guò)程中，對(duì)輸入數(shù)據(jù)進(jìn)行等分劃分，對(duì)劃分

3、塊進(jìn)行排列以形成不同順序的輸入數(shù)據(jù)集，然后對(duì)各種順序的輸入數(shù)據(jù)集分別聚類(lèi)，并選取最優(yōu)的聚類(lèi)結(jié)果作為下一次迭代的輸入。
　　其次，針對(duì)MRCLOPE計(jì)算過(guò)程中出現(xiàn)的相同中間結(jié)果，我們提出一種結(jié)果復(fù)用策略，通過(guò)充分利用可重用的中間結(jié)果可以較大程度地提高聚類(lèi)的速度。
　　再次，為了進(jìn)一步降低MRCLOPE算法的時(shí)間復(fù)雜度，給出了分布式的解決方案，在Hadoop平臺(tái)上用MapReduce并行編模型實(shí)現(xiàn)了一個(gè)包含 MRCLOPE相關(guān)算

4、法的聚類(lèi)工具，并發(fā)布到開(kāi)源社區(qū)（https://github.com/j2cms/mrclope）方便其他人使用。
　　最后，使用蘑菇數(shù)據(jù)集等三個(gè)分類(lèi)數(shù)據(jù)集測(cè)試了MRCLOPE算法。實(shí)驗(yàn)表明，MRCLOPE算法能比CLOPE算法取得更優(yōu)的聚類(lèi)結(jié)果。對(duì)蘑菇數(shù)據(jù)集在CLOPE算法取得最優(yōu)聚類(lèi)結(jié)果時(shí)，MRCLOPE取得比CLOPE大35.7％的收益值。在處理大量數(shù)據(jù)時(shí)，并行MRCLOPE比串行 MRCLOPE極大地縮短了聚類(lèi)時(shí)間，取得了