數(shù)據(jù)挖掘中聚類若干問題研究.pdf

1、數(shù)據(jù)挖掘是為了滿足人們對數(shù)據(jù)中所蘊涵的信息和知識的充分理解和有效應用而發(fā)展起來的一門新興技術。數(shù)據(jù)庫、人工智能和數(shù)理統(tǒng)計是知識發(fā)現(xiàn)和數(shù)據(jù)挖掘的三個強大的技術支柱。發(fā)展自統(tǒng)計學的聚類分析作為數(shù)據(jù)挖掘的一項主要功能和任務，成為數(shù)據(jù)挖掘中的一個重要的研究領域，至今已提出了大量的理論和方法，取得了豐碩的研究成果。盡管如此，聚類中還存在許多問題，尤其隨著數(shù)據(jù)挖掘技術的廣泛應用，數(shù)據(jù)挖掘所面對的數(shù)據(jù)對象日趨復雜，聚類研究也面臨更多新的內(nèi)容和挑戰(zhàn)。這

2、就要求對現(xiàn)有聚類技術進行改進，同時不斷提出新的聚類理論和方法以適應新的應用。 本文對聚類有效性問題，迭代優(yōu)化聚類的初始化問題，分類屬性數(shù)據(jù)聚類算法及高維數(shù)據(jù)聚類方法進行了較為深入的研究，主要內(nèi)容如下： 第一章簡單介紹了數(shù)據(jù)挖掘技術和數(shù)據(jù)挖掘中的聚類分析的特點，詳細論述了聚類有效性問題、迭代優(yōu)化聚類的初始化、分類屬性數(shù)據(jù)聚類方法以及高維數(shù)據(jù)聚類的研究現(xiàn)狀，最后介紹了本文的主要研究工作成果及內(nèi)容安排。 第二章介紹了數(shù)

3、據(jù)挖掘中的聚類分析，包括聚類分析的數(shù)據(jù)結構和數(shù)據(jù)類型，聚類準則的確定，聚類算法的分類，并詳細論述了數(shù)據(jù)挖掘中用到的主要聚類算法，最后對聚類結果的評價方法進行了簡要介紹。 第三章主要研究聚類有效性函數(shù)。首先介紹了模糊聚類的劃分系數(shù)與劃分熵，研究了基于幾何結構的聚類有效性函數(shù)，從聚類的“緊致度”和“分離度”角度出發(fā)，提出了一種新的基于幾何結構的加性聚類有效性函數(shù)；研究了改進的HubertГ統(tǒng)計量，將其與聚類分離度相結合，提出了一種基

4、于HubertГ統(tǒng)計量和分離度的聚類有效性函數(shù)。此外，研究了聚類算法的實驗結果的評價，指出了現(xiàn)有聚類結果評價方法的不足，闡明了聚類精確度是反映聚類效率的觀點，用Fowlkes&Mallows劃分相似測度作為聚類精確度，來評價后續(xù)章節(jié)中聚類算法的實驗結果。 第四章研究了現(xiàn)有的迭代優(yōu)化聚類的初始化方法：即采樣法，距離優(yōu)化法以及密度估計法，分析了它們的優(yōu)缺點，提出一種新的基于距離的初始化方法，它不需要設定門限，不受數(shù)據(jù)集的順序影響，而

5、且對孤立點和噪聲有較強的抑制，適用于較大規(guī)模數(shù)據(jù)的聚類初始化；分析了對初值不敏感的k-harmonicmeans算法，提出了模糊k-harmonicmeans算法，并導出了該算法在中心迭代統(tǒng)一框架下的描述。 第五章研究了k-modes、k-prototypes和fuzzyk-modes聚類算法，通過仿真討論了k-prototypes算法的性能；在新的差異度函數(shù)的基礎上提出了一種新的模糊k-modes算法；考慮到數(shù)據(jù)的不同屬性對聚

6、類過程的不同貢獻，對輸入數(shù)據(jù)進行屬性加權處理，利用進化策略對權值進行優(yōu)化，提出了基于進化策略屬性加權的模糊k-modes聚類算法；研究了近似k-median的求解算法，用數(shù)據(jù)的近似中值(approximatedmedian)來代替模式(modes)進行聚類，提出了分類屬性數(shù)據(jù)的近似k-median聚類算法。 第六章研究了適用于高維數(shù)據(jù)的相似性度量函數(shù)Hsim()，這個度量函數(shù)可以較好地克服Lk-范數(shù)等傳統(tǒng)的距離函數(shù)在高維空間中的