基于Hadoop平臺(tái)并行Overlapping聚類算法研究.pdf

1、聚類分析在數(shù)據(jù)挖掘領(lǐng)域中占有重要的一席之地，主要是用來發(fā)現(xiàn)數(shù)據(jù)對(duì)象在空間中的分布結(jié)構(gòu)。根據(jù)數(shù)據(jù)對(duì)象間的相似度量，聚類算法將數(shù)據(jù)對(duì)象集合分割成若干個(gè)簇，在同一個(gè)簇中的數(shù)據(jù)對(duì)象有比較高的相似性，但是在不同的簇中的數(shù)據(jù)對(duì)象的相似性就比較小。在現(xiàn)實(shí)世界中，數(shù)據(jù)簇之間往往是重疊的。換句話說就是，數(shù)據(jù)簇之間沒有明顯的界限，它們之間往往存在交叉或重疊的數(shù)據(jù)對(duì)象，這些數(shù)據(jù)對(duì)象可以屬于多個(gè)簇，Overlapping聚類算法就是為了將這些Overlappi

2、ng數(shù)據(jù)對(duì)象更好地劃分，并找到它們。
　　本文提出了幾種關(guān)于表述數(shù)據(jù)簇與數(shù)據(jù)簇之間相似性的方法，并在這些方法上建立了關(guān)于Overlapping聚類框架。該框架主要包含三個(gè)部分:聚類、選擇和融合。在聚類部分中，所有的聚類算法都可以使用。在選擇部分中，數(shù)據(jù)簇之間存在Overlapping數(shù)據(jù)對(duì)象的簇將會(huì)被選擇出來，本文提出了基于軟聚類和硬聚類的選擇方法。在融合部分中，將被選中的簇進(jìn)行融合，Overlapping的數(shù)據(jù)對(duì)象將會(huì)被劃分到兩

3、個(gè)或多個(gè)簇中。此Overlapping聚類框架的建立，使得所有聚類算法都可以使用，這對(duì)表征數(shù)據(jù)對(duì)象在空間中分布是有好處的，此框架在處理數(shù)據(jù)時(shí)更加靈活。它可以可以使之前的非Overlapping聚類算法，在此框架下發(fā)揮作用，來解決Overlapping聚類問題。
　　在面對(duì)大數(shù)據(jù)時(shí)，無論是在數(shù)據(jù)吞吐或者運(yùn)算能力方面，單機(jī)串行的聚類算法都無法有效地滿足實(shí)際需求。我們基于MapReduce編程模型對(duì)Overlapping聚類算法進(jìn)行并行