數(shù)據(jù)流中基于區(qū)間劃分的高維聚類算法研究.pdf

1、隨著數(shù)據(jù)規(guī)模的不斷增大以及數(shù)據(jù)維數(shù)的不斷增長，傳統(tǒng)的聚類算法已經(jīng)無法獲得有意義的聚類結(jié)果。針對高維數(shù)據(jù)流的聚類問題，本文將重點放在聚類過程中存儲空間的有效利用、聚類結(jié)果的更新以及聚類算法對數(shù)據(jù)的適用性上，并提出兩種聚類算法：基于最優(yōu)區(qū)間劃分的動態(tài)聚類算法和基于空間劃分的信息熵聚類算法。
　　本文首先定義了基于內(nèi)存的數(shù)據(jù)集劃分方法，這種區(qū)間劃分方法使得劃分后的區(qū)間大小與存儲單元大小匹配，避免了存儲單元內(nèi)部閑置帶來的資源浪費問題。在此

2、基礎之上，提出兩種區(qū)間劃分方式：將最優(yōu)區(qū)間劃分為高密網(wǎng)格和將數(shù)據(jù)空間劃分為單位空間。
　　其次，設計了一種基于最優(yōu)區(qū)間劃分的動態(tài)聚類算法DOIC。該算法通過基于內(nèi)存的數(shù)據(jù)集劃分和最優(yōu)區(qū)間劃分得到高密網(wǎng)格，使數(shù)據(jù)集的劃分更貼近數(shù)據(jù)的實際分布特征；通過HDU樹的創(chuàng)建和合并，以解決數(shù)據(jù)的聚類及更新問題；同時，為了消除歷史數(shù)據(jù)對聚類結(jié)果的影響，利用權(quán)值以實現(xiàn)在聚類過程中對歷史數(shù)據(jù)的逐步廢棄。該算法的數(shù)據(jù)空間伸縮性和聚類效果較以往算法都有所