基于密度網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)流在線聚類算法研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)絡技術(shù)的不斷發(fā)展，各個應用領域都在源源不斷地產(chǎn)生數(shù)據(jù)，而這些數(shù)據(jù)通常以流的形式出現(xiàn)，例如傳感器網(wǎng)絡產(chǎn)生的數(shù)據(jù)流、股票交易流、超市結(jié)算流、網(wǎng)絡通信流等。數(shù)據(jù)挖掘融合了統(tǒng)計學、數(shù)據(jù)庫、機器學習等技術(shù)，幫助人們從海量數(shù)據(jù)中抽取出有用的知識，從而為決策提供重要依據(jù)。
　　 數(shù)據(jù)流具有高速流動、快速變化和潛在無限等特點，因此要求數(shù)據(jù)流挖掘算法必須滿足單次線性掃描、壓縮存儲、低的時間復雜度等要求?，F(xiàn)有的數(shù)據(jù)流聚類算法，大多

2、數(shù)停留在在線收集和離線分析階段，典型的算法如CluStream。這類算法的缺點是實時性差，不能在線生成用戶需要的聚類，精確的聚類結(jié)果需要經(jīng)過離線分析才能獲得。
　　 針對這些問題，本文對數(shù)據(jù)流的在線聚類算法進行了研究，主要研究內(nèi)容包括以下幾方面：
　　 （1）使用密度網(wǎng)格的存儲結(jié)構(gòu)，將數(shù)據(jù)流的概要信息以統(tǒng)計值的形式存儲在網(wǎng)格單元中。通過設置密度網(wǎng)格閾值Cmax和Cmin，能有效地控制聚類質(zhì)量。密度網(wǎng)格結(jié)構(gòu)容易更新和維護，

3、從而提高在線聚類效率，并節(jié)省存儲空間。
　　 （2）本文采用計數(shù)型滑動窗口來保存當前數(shù)據(jù)流。通過調(diào)整窗口滑動一次的步數(shù)step，可以有效地節(jié)省系統(tǒng)資源。
　　 （3）定義了網(wǎng)格鄰居和網(wǎng)格簇等概念，設計優(yōu)化的網(wǎng)格合并和更新規(guī)則，使算法能夠區(qū)分數(shù)據(jù)密集區(qū)域和稀疏區(qū)域，并較快地找到數(shù)據(jù)分布中存在的簇，提高算法的實時性。
　　 （4）在論文研究過程中，通過大量的實驗分析和對比，不斷調(diào)整和優(yōu)化算法，取得了較好的聚類質(zhì)量和在