聚類分析及聚類結(jié)果評(píng)估算法研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展，需要分析和管理的數(shù)據(jù)迅速增多，這種趨勢(shì)已經(jīng)滲透到數(shù)據(jù)挖掘領(lǐng)域中。數(shù)據(jù)挖掘就是用來(lái)從大量的、不完全的、有噪聲的、模糊的、隨機(jī)數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)。聚類分析是數(shù)據(jù)挖掘技術(shù)中重要的組成部分，從技術(shù)角度講，它的主要目的是將數(shù)據(jù)空間中的數(shù)據(jù)點(diǎn)劃分到若干個(gè)類中。其中，將距離相近的數(shù)據(jù)點(diǎn)劃分到相同的類中，而將距離較遠(yuǎn)的數(shù)據(jù)點(diǎn)劃分到不同的類中。 目前，已經(jīng)提出了很多的聚類

2、算法，它們基本上可以分為以下幾種方法：劃分方法、層次方法、混合方法和基于密度等方法，這些方法各有優(yōu)缺點(diǎn)。每種算法只有聚類與之相適合的數(shù)據(jù)集時(shí)才能形成比較理想的聚類結(jié)果，而且聚類結(jié)果的質(zhì)量很難定量評(píng)估。雖然已經(jīng)提出一些聚類質(zhì)量評(píng)估的方法，但是這些評(píng)估方法卻不能與聚類算法有機(jī)結(jié)合，并指導(dǎo)聚類算法進(jìn)行調(diào)整和更新以產(chǎn)生更好的聚類結(jié)果。在聚類分析領(lǐng)域中另一個(gè)長(zhǎng)期困擾研究者的典型問(wèn)題就是聚類參數(shù)的設(shè)置問(wèn)題。只有合理的設(shè)置聚類參數(shù)才能聚類出高質(zhì)量的聚

3、類結(jié)果。然而被聚類的數(shù)據(jù)集分布情況在聚類前往往是未知的，所以難以設(shè)置合理的聚類參數(shù)。而設(shè)置不合理的聚類參數(shù)又使得聚類結(jié)果質(zhì)量變低。所以聚類參數(shù)設(shè)置問(wèn)題應(yīng)該首先被解決好。 本文提出一種高效的聚類模塊和一種新穎的聚類質(zhì)量評(píng)估模塊。其中聚類模塊包含兩個(gè)取值范圍有限的整形參數(shù)，通過(guò)遍歷這兩個(gè)聚類參數(shù)的全部取值，可以對(duì)數(shù)據(jù)集進(jìn)行多遍聚類，然后利用評(píng)估模塊對(duì)全部聚類結(jié)果進(jìn)行評(píng)估，找到聚類質(zhì)量最高的一個(gè)作為聚類算法的最終輸出，這就是SECDU