處理海量數(shù)據(jù)的聚類算法關(guān)鍵技術(shù)研究.pdf

1、該文主要內(nèi)容如下：1）針對(duì)大多數(shù)聚類算法只根據(jù)一個(gè)固定的原則來識(shí)別簇,因而往往只能處理某種特定的數(shù)據(jù)集合,而對(duì)其它數(shù)據(jù)集合的處理則效果不佳的缺點(diǎn),提出了綜合考慮距離和密度進(jìn)行相似性判定的Hybrid聚類算法.由于考慮了多種尺度,算法能夠準(zhǔn)確地識(shí)別各種形狀的簇.另外,算法利用定義的小方格和密度參數(shù)可以自動(dòng)消除噪聲,識(shí)別離群點(diǎn).此外,通過取樣和小方格索引技術(shù),Hybrid比之傳統(tǒng)的聚合聚類算法,在保持聚類質(zhì)量的同時(shí)大大節(jié)省了聚類的時(shí)間,具有

2、良好的伸縮性.2）現(xiàn)有的聚類研究側(cè)重于提高聚類分析的效果和性能,但是這些聚類算法多數(shù)都需要指定一些參數(shù),作為聚類分析過程結(jié)束的依據(jù).3）聚類分析要處理的對(duì)象通常是數(shù)據(jù)庫(kù)中的數(shù)據(jù),因此算法必須能夠高效地處理存在于數(shù)據(jù)庫(kù)系統(tǒng)或者數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù);為了使聚類算法具有可伸縮性和實(shí)用性,文章進(jìn)一步提出了SACT算法,SACT算法在MACT的基礎(chǔ)上,通過分區(qū)-對(duì)每個(gè)分區(qū)構(gòu)造聚類樹-合并聚類樹的方法突破內(nèi)存的限制,在保持聚類質(zhì)量的同時(shí),提高了算法的可