基于全信息熵的高維分類型數(shù)據(jù)子空間算法.pdf

1、高維數(shù)據(jù)聚類是數(shù)據(jù)挖掘領(lǐng)域的重點(diǎn)、難點(diǎn)，特別是高維分類型數(shù)據(jù)的聚類。數(shù)據(jù)的稀疏性以及“維度災(zāi)難”等因素，使得傳統(tǒng)的相似度度量方法在分類型數(shù)據(jù)之間的相似度都趨于無窮而無法計(jì)算，以至于無法對數(shù)據(jù)進(jìn)行聚類。大多數(shù)分類型數(shù)據(jù)聚類算法通常是在全空間上來進(jìn)行傳統(tǒng)的相似度的度量，在實(shí)際應(yīng)用中，這對高維分類型數(shù)據(jù)來說幾乎是不可能完成的任務(wù)，而利用軟子空間聚類方法來對高維數(shù)據(jù)聚類是最高效的、最實(shí)用的方式。高維分類型聚類分析是聚類分析的一個(gè)重要的研究分支，

2、已在多個(gè)領(lǐng)域得到了很好的應(yīng)用，諸如文本挖掘，mb挖掘和基因表達(dá)等
　　為了解決高維分類型數(shù)據(jù)的聚類問題，本文結(jié)合軟子空間聚類的方式，根據(jù)高維分類型數(shù)據(jù)的特征以及特性。本文采用軟子空間聚類方法，深入研究分析了信息熵及全信息熵在聚類分析中的應(yīng)用，提出了一種基于全信息熵的高維分類型數(shù)據(jù)聚類算法HPCCD。該算法主要分為四個(gè)步驟：首先，根據(jù)傳統(tǒng)的相似度將數(shù)據(jù)集劃分若干子簇，即初始化步驟；接著，搜索特征子空間。由于不同子簇有著不同的特征子空

3、間，所以子空間搜索也是高維數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)挑戰(zhàn)性難題。在這一步驟中，我們基于全信息熵理論提出了一種新型的特征子空間的搜索方法：先利用信息熵對屬性的重要性進(jìn)行評估，再利用全信息熵的特性來搜索對于子簇有意義的特征屬性，從而達(dá)到特征子空間搜索的目的；然后，計(jì)算緊湊度及子簇的全并。再次利用全信息熵能夠反應(yīng)子簇的內(nèi)部特性的性質(zhì)，并結(jié)合權(quán)重的分配方法計(jì)算兩合并子簇的緊湊度。搜索緊湊度最小的子簇的進(jìn)行子簇合并，從而達(dá)到層次聚類的效果。最后，在Zo