聚類分析算法研究及其在數(shù)據(jù)密集型計(jì)算環(huán)境下的實(shí)現(xiàn).pdf

1、當(dāng)前，在聚類分析中仍然存在準(zhǔn)確性和完備性方面的不足，也沒有哪種算法能夠同時(shí)適用于應(yīng)用的各個(gè)方面且都是有效的。在高性能計(jì)算方面，主要面臨著由于大數(shù)據(jù)集（數(shù)據(jù)密集型計(jì)算環(huán)境下的數(shù)據(jù)）而帶來(lái)的挑戰(zhàn)。這些大數(shù)據(jù)集一般具有海量、高速變化、分布、異構(gòu)、半結(jié)構(gòu)化或非結(jié)構(gòu)化的特點(diǎn)。對(duì)于這樣的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)挖掘算法已經(jīng)不能滿足其處理要求，逐漸成為數(shù)據(jù)處理技術(shù)中的瓶頸問題。
　　本文通過對(duì)基于熵的模糊聚類算法（EFC）和中心點(diǎn)聚類算法的研究，提出了

2、一種改進(jìn)的基于熵的中心聚類算法（Improved Entropy-based Central Clustering Algorithm，IECC算法）。該算法首先通過EFC算法得到差異性十分明顯的原始數(shù)據(jù)集的簇心，再以得到的簇心為中心再次進(jìn)行聚類分析，通過各點(diǎn)到各中心的距離將各點(diǎn)重新分配到以各中心所代表的集合中。改進(jìn)的算法不僅可以得到緊湊且差異明顯的聚類結(jié)果，還可以使聚類結(jié)果的準(zhǔn)確率得到有效提高。為了適應(yīng)數(shù)據(jù)密集型計(jì)算環(huán)境下的數(shù)據(jù)處理要

3、求，本文又提出一種將改進(jìn)的基于熵的中心聚類算法（IECC算法）在 Hadoop分布式平臺(tái)上實(shí)現(xiàn)的可行性方案。具體的實(shí)現(xiàn)主要分為三個(gè)階段即 Map、Combine和Reduce階段，在分節(jié)點(diǎn)上主要是Map的過程，該過程只需要得到差異性十分明顯的原始數(shù)據(jù)集的簇心以及相應(yīng)的離群點(diǎn)，將其看作是該節(jié)點(diǎn)上的代表點(diǎn)；再經(jīng)過Combine階段，把分節(jié)點(diǎn)上得到的簇心和離群點(diǎn)相關(guān)信息傳到主節(jié)點(diǎn)上，通過Combine合并相同簇心；最后，在主節(jié)點(diǎn)上執(zhí)行IECC