高維數(shù)據(jù)的聚類方法研究與應(yīng)用.pdf

1、聚類分析是數(shù)據(jù)挖掘中重要的研究課題，在信息過濾、資料自動(dòng)分類、生物信息學(xué)等領(lǐng)域得到廣泛應(yīng)用。隨著技術(shù)進(jìn)步，聚類分析許多應(yīng)用領(lǐng)域的數(shù)據(jù)具有很高的維度，例如，各種類型的文檔數(shù)據(jù)、基因表達(dá)數(shù)據(jù)等其維度(屬性)可以達(dá)到成百上千維，甚至更高。由于高維數(shù)據(jù)存在的普遍性，高維數(shù)據(jù)的聚類分析具有非常重要的意義。 數(shù)據(jù)在高維空間中的表現(xiàn)相對于低維空間有很大的差異。在高維空間的許多情況下，由于數(shù)據(jù)分布的內(nèi)在稀疏性，低維數(shù)據(jù)聚類常用的Lp距離等相似度

2、度量有效性大大降低；高維空間中簇類往往只存在于某些低維子空間中，而不同的簇類其所處的子空間也可能存在差異。受“維度效應(yīng)”的影響，許多在低維數(shù)據(jù)上表現(xiàn)良好的聚類方法運(yùn)用于高維數(shù)據(jù)時(shí)無法獲得很好的效果，需要采用一些特殊的方法進(jìn)行高維數(shù)據(jù)的聚類分析。 本文從高維數(shù)據(jù)子空間聚類的數(shù)學(xué)統(tǒng)計(jì)模型入手，研究其潛在的概率統(tǒng)計(jì)模型，繼而提出新的聚類算法、開展高維數(shù)據(jù)的聚類有效性等研究；并在文本分類、網(wǎng)絡(luò)入侵檢測和惡意軟件鑒別中進(jìn)行應(yīng)用研究，具有一

3、定的理論意義和實(shí)際應(yīng)用價(jià)值。 本文的主要工作及貢獻(xiàn)如下： 1．提出了一種高維數(shù)據(jù)子空間聚類的概率統(tǒng)計(jì)模型及其學(xué)習(xí)算法，分析了子空間聚類算法的目標(biāo)優(yōu)化函數(shù)； 2．建立了現(xiàn)有軟子空間聚類算法與統(tǒng)計(jì)模型之間的聯(lián)系，對其中兩種代表性算法進(jìn)行了多方面的改進(jìn)；提出檢測局部離群點(diǎn)的方法，提高了子空間聚類算法的魯棒性； 3．基于統(tǒng)計(jì)模型給出了模糊隸屬度的新定義，提出一種高維數(shù)據(jù)的模糊聚類算法；結(jié)合三種改進(jìn)的子空間聚類有效