一類(lèi)基于密度的聚類(lèi)算法研究.pdf

1、聚類(lèi)分析中，基于密度的聚類(lèi)算法占有非常重要的地位，在信息的過(guò)濾、檢索、醫(yī)療衛(wèi)生和公共服務(wù)等各個(gè)領(lǐng)域都得到廣泛地應(yīng)用，是聚類(lèi)分析的重點(diǎn)研究?jī)?nèi)容。本文對(duì)層次聚類(lèi)算法的特征和密度聚類(lèi)算法的特征進(jìn)行研究，提出了基于層次的密度聚類(lèi)算法，結(jié)果表明新算法聚類(lèi)的準(zhǔn)確率和聚類(lèi)的效率均得到提高。根據(jù) Alex Rodriguez和 Alessandro Laio提出的一種新的密度聚類(lèi)算法 CFSFDP(Clustering by Fast Search a

2、nd Find of Density Peaks)，提出了MapReduce框架下該算法的并行化模型。和其他密度聚類(lèi)算法一樣，該算法在并行條件下能對(duì)復(fù)雜形狀的聚類(lèi)進(jìn)行處理，并且數(shù)據(jù)中類(lèi)的數(shù)量也不需要提前指定，同時(shí)，CFSFDP算法需要用戶指定的參數(shù)較少。和需要迭代的聚類(lèi)算法相比，該算法的運(yùn)行時(shí)間得到很大程度地降低。
　　本研究主要內(nèi)容包括：⑴針對(duì)傳統(tǒng)的聚類(lèi)算法需要反復(fù)地對(duì)數(shù)據(jù)集聚類(lèi)，且計(jì)算效率在大規(guī)模數(shù)據(jù)集上欠佳的問(wèn)題，提出了一種

3、改進(jìn)算法，即基于層次聚類(lèi)確定最佳聚類(lèi)數(shù)和初始聚類(lèi)中心的CODHD算法。該算法研究計(jì)算過(guò)程，對(duì)數(shù)據(jù)集不需要反復(fù)進(jìn)行聚類(lèi)。首先，通過(guò)對(duì)數(shù)據(jù)集進(jìn)行掃描，進(jìn)而獲得聚類(lèi)特征的所有的統(tǒng)計(jì)值；其次，采用自下而上的方法生成層次不相同的數(shù)據(jù)劃分，對(duì)每個(gè)劃分的數(shù)據(jù)點(diǎn)的密度進(jìn)行計(jì)算，將密度最大的點(diǎn)定為中心點(diǎn)，計(jì)算中心點(diǎn)距離更高密度點(diǎn)的最小距離，將最小距離與中心點(diǎn)的密度作乘積，取乘積之和的平均值作為有效性指標(biāo)，根據(jù)聚類(lèi)結(jié)果，增量地構(gòu)建一條屬于不同層次的曲線；最

4、后，曲線極值點(diǎn)處對(duì)應(yīng)的劃分，用來(lái)估計(jì)初始的聚類(lèi)中心和最佳的聚類(lèi)數(shù)。實(shí)驗(yàn)結(jié)果表明，相比較COPS算法，本文提出的CODHD算法，聚類(lèi)準(zhǔn)確率和效率均得到提高。⑵傳統(tǒng)的CFSFDP算法能夠很好地識(shí)別空間中任意形狀和任意維度的聚類(lèi)，但是當(dāng)處理大規(guī)模數(shù)據(jù)集時(shí)，兩點(diǎn)之間距離的計(jì)算耗費(fèi)太長(zhǎng)時(shí)間，為克服提到的缺點(diǎn)，提出了一種基于MapReduce的CFSFDP算法，又稱(chēng) mrCFSFDP。mrCFSFDP只需要讀取數(shù)據(jù)集一遍，因此運(yùn)行時(shí)間很快，運(yùn)行在多