基于密度峰值和維度概率模型的混合屬性數(shù)據(jù)聚類研究.pdf

1、隨著大數(shù)據(jù)時代的到來，人工智能、機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)對現(xiàn)代社會的影響越來越深遠。聚類分析作為人類認識世界的基本能力，受到了越來越多科研工作者的重視。由于混合屬性數(shù)據(jù)的普遍存在和其統(tǒng)一距離度量的困難性，混合屬性數(shù)據(jù)聚類的研究一直是聚類分析研究中的熱點之一。
　　本文對混合屬性數(shù)據(jù)聚類中的相似性度量、聚簇信息表示、自適應(yīng)聚類和基于密度峰值和維度概率模型的聚類新方法進行了深入研究分析，取得了如下研究成果:
　　(1)針對聚簇信息

2、的表示問題，創(chuàng)新性地提出了維度概率模型的概念。本文首先定義了面向數(shù)值屬性數(shù)據(jù)的維度概率分布、維度概率摘要等相關(guān)概念和點簇相似度、簇簇相似度的計算方法，接著提出了基于該模型的DMPCAH層次聚類算法。最后通過實驗對比分析發(fā)現(xiàn)，該算法比傳統(tǒng)的K-Means算法和AGNES層次聚類算法在聚類精度上有了較大的提高，并可實現(xiàn)聚簇數(shù)目的自動確定和離群點的識別。在此研究基礎(chǔ)上，本文進一步將維度概率模型擴展到混合屬性數(shù)據(jù)的聚類分析中，定義了面向混合屬性

3、數(shù)據(jù)的維度概率模型的相關(guān)概念和相似度計算方法。基于此模型，結(jié)合最新的密度峰值聚類算法，提出了面向混合屬性數(shù)據(jù)的DPKM和DPM聚類算法。實驗分析表明，DPKM算法能夠有效進行混合屬性數(shù)據(jù)聚類，比傳統(tǒng)的K-Prototypes算法聚類精度更高;DPM算法利用點簇相似性度量對DPC聚類的數(shù)據(jù)點進行重新分配，能夠有效提高原DPC聚類算法的聚類效果。
　　(2)針對混合屬性數(shù)據(jù)統(tǒng)一相似性度量的問題，本文提出了一種統(tǒng)一距離度量方法（簡稱為U

4、DM距離），并將其用于生成混合屬性數(shù)據(jù)的距離矩陣;接著提出了一種用于混合屬性數(shù)據(jù)聚類的DPC M算法，通過實驗分析表明，在UCI真實數(shù)據(jù)集中，DPC M算法的聚類準確度比傳統(tǒng)的K-Prototypes算法提高了4％～13％。此外，本文還將此UDM距離度量方法與現(xiàn)有的Gower距離、K-Prototypes距離、OCIL改進距離、Goodall距離進行了比較研究，從實驗結(jié)果來看，本文提出的UDM距離方法在所有實驗數(shù)據(jù)集中表現(xiàn)最穩(wěn)定，其時間

5、復(fù)雜度也比較低，運行時間隨著數(shù)據(jù)點數(shù)的增長率最慢。
　　(3)針對混合屬性數(shù)據(jù)集中統(tǒng)一相似性度量方法不夠穩(wěn)定，傳統(tǒng)算法無法自動確定聚簇數(shù)目等問題，提出了一種基于密度峰值的混合屬性數(shù)據(jù)自適應(yīng)融合聚類框架和一種基于該框架的ACEDP算法。算法首先將數(shù)據(jù)集的數(shù)值屬性子集采用可自動確定聚簇數(shù)目的聚類算法進行聚類，其結(jié)果映射為分類屬性加入到分類屬性數(shù)據(jù)子集中;然后采用基于熵權(quán)值改進的Goodall距離度量方法生成新分類屬性數(shù)據(jù)集的距離矩陣，