基于數(shù)據(jù)流的分布式并行譜聚類算法的研究.pdf

1、在信用卡欺詐檢測、股票和證券市場交易(金融分析)、網(wǎng)絡(luò)入侵監(jiān)測、社交網(wǎng)絡(luò)分析等現(xiàn)實世界的行為活動中，數(shù)據(jù)以無限的、實時的、動態(tài)的流形式出現(xiàn)。根據(jù)數(shù)據(jù)流無窮、實時、有序、大規(guī)模等特性可知，對靜態(tài)數(shù)據(jù)進行聚類的算法無法達(dá)到數(shù)據(jù)流的處理要求。本文針對以上問題從三個方面予以研究：
　　1、根據(jù)CluStream聚類算法的主要架構(gòu)思想，把OOSCA算法(Online Offline Spectral Clustering Algorithm

2、，OOSCA)分為在線層匯總數(shù)據(jù)概要結(jié)構(gòu)信息和離線層精確聚類雙層架構(gòu)模型。由于數(shù)據(jù)流大規(guī)模高維的特性，本文利用核函數(shù)成分分析法(KPCA)對數(shù)據(jù)進行降維，又因為界標(biāo)窗口不能解決滑動窗口數(shù)據(jù)模型，而滑動窗口對大量信息的維護增加了數(shù)據(jù)存儲的負(fù)載，因此，提出基于KPCA的時間衰減的數(shù)據(jù)流在線聚類方法。
　　2、離線層采用基于圖論思想的譜聚類規(guī)劃方法，可以利用圖的最優(yōu)、最佳劃分的解決方案來代替對大量數(shù)據(jù)集的聚類操作。它能夠適用于現(xiàn)實世界中

3、任何形態(tài)的樣本集合，并可以最大程度地接近最優(yōu)解。首先，本文利用NIF(New Intuitionistic Fuzzy,NIF)相似度量的方法創(chuàng)建相似矩陣。為了提高聚類的效果和精度，采用改進的t-最近鄰方法對相似矩陣進行稀疏化，并對其結(jié)果作離群點調(diào)優(yōu)處理。應(yīng)用ε-最近鄰粗糙集模型計算k-means的初始聚類中心并對數(shù)據(jù)進行聚類。
　　3、在數(shù)據(jù)進行聚類的過程中存在大規(guī)模的繁雜運算，因此算法時間復(fù)雜度較高。在構(gòu)建相似矩陣、求解Lap