數(shù)據(jù)流聚類方法的研究——基于概率密度和應(yīng)用摘要層次的算法研究.pdf

1、近年來，作為數(shù)據(jù)挖掘的重要工具之一，聚類分析的應(yīng)用領(lǐng)域日益廣闊，越來越多的領(lǐng)域出現(xiàn)了大量的數(shù)據(jù)流。數(shù)據(jù)流具有數(shù)據(jù)量無限且流速快等特點，使得傳統(tǒng)的聚類算法不能直接應(yīng)用于數(shù)據(jù)流聚類問題，如何對數(shù)據(jù)流進行有效的聚類是當前數(shù)據(jù)挖掘領(lǐng)域的一個難點和熱點問題。 數(shù)據(jù)流聚類分析的難點之一就是要求算法只能有限次的掃描數(shù)據(jù)集，最好是一次掃描。本文針對數(shù)據(jù)流聚類的難點，給出了一種基于概率密度的數(shù)據(jù)流聚類算法，該方法不需要存儲全部歷史數(shù)據(jù)，只需要存儲

2、新到達的數(shù)據(jù)并對其應(yīng)用EM算法，利用高斯混合模型增量式的更新概率密度函數(shù)。 本文還給出了應(yīng)用摘要層次結(jié)構(gòu)的數(shù)據(jù)流聚類算法，該算法的在線階段應(yīng)用了兩種摘要技術(shù)，基于小波的技術(shù)和基于回歸的技術(shù)來構(gòu)造摘要層次結(jié)構(gòu)。基于回歸的擬合模型可以得到較精確的摘要層次結(jié)構(gòu)，而基于小波的擬合模型可以快速地建立摘要層次結(jié)構(gòu)并且所需的存儲空間比較小。 為了驗證以上兩種算法的性能，進行了一系列的仿真實驗和對真實數(shù)據(jù)的實驗。通過實驗證明本文所給出的