一種新的改進聚類精確度和穩(wěn)定性的融合技術.pdf

1、數(shù)據分組是理解學習中的一個基本和重要的模式,相似的模型被聚集到同一個分組中,不同的模型在不同的分組中。本論文提出了一種基于統(tǒng)計共識的聚類融合算法來提高聚類的準確性和穩(wěn)定性,算法可以應用于隱私問題數(shù)據或大規(guī)模不能聚集到一個位置的分布式數(shù)據挖掘中。融合方法已廣泛應用于監(jiān)督式學習,并且事實證明,融合方法比單一的預測\學習模式相比,能將預測誤差減少到相當高的程度。近些年,人們正在研究非監(jiān)督的學習(聚類融合),期望獲得可喜成果。本文所提出的基于統(tǒng)

2、計共識的聚類融合方法通過四個步驟獲得最后的共識聚類結果。第一步是利用K-means算法在不同的初始參數(shù)下運行多次產生聚類成員。初始參數(shù)對K-means算法的影響是比較大的,采用不同的初始參數(shù)在同一數(shù)據集上得到多種聚類結果。第二步是在產生聚類成員中選擇一個最佳聚類。這部分通過基于K- means算法定義的目標函數(shù)來實現(xiàn),這個目標函數(shù)可以減小誤差并使得類之間的緊湊度和分離度更好。由于缺少標記,誤差是能判斷聚類分析質量的很好的數(shù)學方法。第三步

3、是融合方法,論文采用選擇性聚類融合方法,選取一致性聚類并丟棄不一致的聚類。在融合中,利用信息理論(互信息)作為選擇一致性聚類的標準,第四步是一致性函數(shù)。最后的聚類結果是利用一致性聚類成員使用統(tǒng)計共識函數(shù)得到的。論文所研究聚類融合算法改善了聚類結果的精確性以及穩(wěn)定性。由于聚類融合在數(shù)據挖掘和機器學習中有很大影響力,將多種聚類模型融合到一種聚類方法中,通常效果會比單一聚類算法好。大多數(shù)數(shù)據挖掘和知識發(fā)現(xiàn)技術是針對建模,而不是在結果的精確度上

4、。但是對于復雜商業(yè)智能系統(tǒng),確實需要更多關注聚類精確度,而不是聚類建模。任何商務智能系統(tǒng)都需要一個高質量聚類作為其核心,在大多數(shù)情況下它涉及到大量數(shù)據,并且數(shù)據有時可能在分布式環(huán)境下。問題在于,現(xiàn)有的經典聚類算法并不穩(wěn)定,它們的不穩(wěn)定導致在不準確的聚類結果,同時因為經典聚類算法假設數(shù)據是在單一的位置上,所以這些算法并不適合數(shù)據不能合并到單一位置的分布式數(shù)據環(huán)境。本文提出的新聚類融合算法除了提高穩(wěn)定性和聚類結果精確度外,它還可以用于分布式

5、數(shù)據的聚類。分布式數(shù)據挖掘是數(shù)據挖掘的有趣的方面之一,尤其是當數(shù)據集因存儲(通常數(shù)據挖掘涉及到大量的數(shù)據)或隱私性等原因,不能合并到一個位置。單一的經典聚類算法是不能處理這些情況的。我們的方法使用許多模式和聚類中心表示聚類,這使得我們的算法獨特于現(xiàn)有的使用類標簽標識每個模式或數(shù)據點的聚類融合方法。用聚類中心和大量模式表示的聚類,直接解決了標簽對應問題,而不用像現(xiàn)有的大多數(shù)算法引用額外的技術。這種方法也節(jié)省了時間與空間,共識函數(shù)只需要聚類

6、中心和數(shù)據點數(shù)量這些信息,它遠遠小于數(shù)據集中的實際數(shù)據點數(shù)量,這使得我們的算法適用于處理并行或分布式環(huán)境中的大量數(shù)據。實驗結果表明,本文提出的聚類融合算法與k-means經典聚類算反比較,算法的精度性和穩(wěn)定性更好。論文章節(jié)安排如下:第一章介紹了數(shù)據挖掘和知識發(fā)現(xiàn)涉及的技術理念以及其應用。第二章著重于聚類和聚類融合,并對現(xiàn)有融合算法及技術進行了綜述,第三章是提出的新聚類融合算法。第四章是實驗與評估,第五章是結論。最后是感謝,參考文獻和附錄