高伸縮性聚類分析方法研究.pdf

1、聚類問題一直是模式識別領(lǐng)域的熱點課題,其應用領(lǐng)域廣泛,包括統(tǒng)計學、圖像處理、醫(yī)療診斷、信息檢索、生物學以及機器學習等。近年來,很多聚類方法紛紛涌現(xiàn)。這些方法大多受到自身算法的伸縮性限制,在特定數(shù)據(jù)規(guī)模的數(shù)據(jù)集上表現(xiàn)出優(yōu)良的性能,但在超出其規(guī)定規(guī)模的數(shù)據(jù)集上往往收效甚微,甚至無法運行。隨著信息采集與存儲技術(shù)的飛速發(fā)展,數(shù)據(jù)的多樣性越發(fā)突出,因此,對于高伸縮性的聚類方法的探索越發(fā)成為關(guān)注的焦點。
　　本文主要針對聚類算法的伸縮性以及一

2、些聚類算法存在的高昂計算復雜度和巨大內(nèi)存需求而難以應用于大規(guī)模數(shù)據(jù)集的處理中的問題展開研究和討論。在此過程中,本文的主要創(chuàng)新體現(xiàn)在以下幾方面:
　　(1)許多經(jīng)典的聚類算法在小數(shù)據(jù)規(guī)模的數(shù)據(jù)聚類任務中取得了非常優(yōu)秀的效果,但由于其伸縮能力不強,使得大多數(shù)算法在大規(guī)模數(shù)據(jù)的聚類任務中很難勝任或無法完成聚類分析的任務。針對探索高伸縮性聚類方法的問題,使得算法能夠適應大幅度的數(shù)據(jù)規(guī)模變化,本文以化整為零的 處理思想為基礎(chǔ),對于數(shù)據(jù)

3、集先進行切分后劃分的處理方式進行了深入的研究。提出一種基于這種處理方式的聚類方法—基于數(shù)據(jù)切分與劃分的聚類方法。該方法處理數(shù)據(jù)不須將數(shù)據(jù)一次讀入主存,可以大幅度的降低了算法對硬件資源的需求,相比于傳統(tǒng)迭代產(chǎn)生的質(zhì)心不易陷入局部最優(yōu)。
　　(2)DP是一種伸縮性較強的聚類方法,在小數(shù)據(jù)集合和大數(shù)據(jù)集合的聚類任務中都表現(xiàn)出了優(yōu)異的聚類性能,但對于數(shù)據(jù)規(guī)模過大的情況下,其局部特征樣本集過大,超出主存要求,仍然存在不足。針對這種情況,本文

4、對于DP理論進行深入分析后提出了逐級壓縮的思想,并對DP方法進行了改進,提出了一種基于均值徑向壓縮的聚類方法(MeansRadialCompression,MRC),相比于DP方法,均值徑向壓縮方法MRC具有更好的伸縮性能,并且其優(yōu)良的時間復雜度O(n)也使得其應用范圍更廣。
　　(3)提出一種基于最小距離譜的數(shù)據(jù)特征聚類特性的可視化分析方法(MinDS)。通常情況下,用于參與聚類分析的數(shù)據(jù)是經(jīng)過數(shù)據(jù)表示后產(chǎn)生的數(shù)據(jù)特征,應具有內(nèi)