基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究.pdf

1、隨著現(xiàn)代科技的發(fā)展，人類邁入了信息社會，各行各業(yè)的信息數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長。如何從這些海量數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的熱點。數(shù)據(jù)挖掘（Da ta mining）技術(shù)是信息決策和數(shù)據(jù)庫知識發(fā)現(xiàn)的重要工具，聚類技術(shù)便是數(shù)據(jù)挖掘技術(shù)中一個非常重要的手段。聚類技術(shù)目的是將大量樣本或抽象的數(shù)據(jù)按照相互之間的相似性分成若干個子集合，從而發(fā)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)，幫助人們更好的了解數(shù)據(jù)之間隱藏的信息。信息科技的進(jìn)步，導(dǎo)致信息規(guī)模增長越來越快，樣本包含

2、的特征也越來越復(fù)雜，很多傳統(tǒng)聚類算法都已無法應(yīng)對如此大規(guī)模的數(shù)據(jù)，研究人員將注意力轉(zhuǎn)移到能夠適應(yīng)復(fù)雜海量數(shù)據(jù)的新型算法上。本文將結(jié)合傳統(tǒng)模糊聚類算法并引入流數(shù)據(jù)聚類的概念，提出了針對海量數(shù)據(jù)的流數(shù)據(jù)聚類模型，使算法能夠適應(yīng)大規(guī)模數(shù)據(jù)集。本文主要工作如下：
　?。?）提出了一種基于傳統(tǒng)點密度加權(quán) FCM聚類算法的適應(yīng)較大規(guī)模手寫數(shù)字圖片識別的方法。本方法根據(jù)現(xiàn)有流數(shù)據(jù)聚類方法，每次讀取一個數(shù)據(jù)點，每次循環(huán)只對一個點和現(xiàn)有聚類中心計算

3、隸屬度，根據(jù)隸屬度的最大值來決定是否令該點直接參與聚類模型的更新。本算法的關(guān)鍵步驟就是設(shè)計了一個基于流數(shù)據(jù)的聚類框架，結(jié)合在線k-means算法模型更新方法和點密度加權(quán)的FCM算法，實現(xiàn)了one-by-one的在線聚類來進(jìn)行無監(jiān)督方式的手寫數(shù)字識別。本算法避免了同時處理所有數(shù)字圖像數(shù)據(jù)，極大地減輕了大規(guī)模數(shù)據(jù)處理時對計算機硬件的要求，同時與現(xiàn)有的分塊的WFCM算法相比，由于大部分點直接參與了聚類模型的更新，減少了調(diào)用 WFCM算子的次數(shù)

4、，從而節(jié)省了計算時間，降低了時間的復(fù)雜度，更適合處理規(guī)模較大的手寫數(shù)字圖片數(shù)據(jù)。
　?。?）基于上一部分提出的流數(shù)據(jù)處理框架，提出了一種改進(jìn)的流數(shù)據(jù)處理方法，由于之前提出的算法是基于點密度加權(quán)的FCM算法，雖然該算法根據(jù)數(shù)據(jù)樣本周圍的密度來給每一個數(shù)據(jù)點加權(quán)值以突顯出周圍密度較大的特點，一定程度上提高了算法的收斂速度，但這種算法需要給數(shù)據(jù)池中的每一個點都計算權(quán)值，這在一定程度上增加了算法的計算復(fù)雜度。為了避免這種現(xiàn)象，本章我們提出

5、了一種在SPFCM基礎(chǔ)上改進(jìn)的流數(shù)據(jù)聚類算法，這個算法在上一章中已經(jīng)使用過。這個算法的基本原理也是給每個樣本點進(jìn)行加權(quán)，但每個樣本點的權(quán)值都初始化為1，只有聚類中心的權(quán)值會不斷增加，每多一個點對應(yīng)的聚類中心的權(quán)值就會增加。這樣在對后來進(jìn)入的數(shù)據(jù)塊進(jìn)行聚類時，這些權(quán)值較大的點就更容易成為聚類中心。
　?。?）對現(xiàn)有的社區(qū)檢測算法做了深入研究發(fā)現(xiàn)，社區(qū)檢測問題和數(shù)據(jù)聚類問題有很多相似的地方，且目前已有很多用聚類手段來做社區(qū)檢測的方法。

6、由于對復(fù)雜網(wǎng)絡(luò)的特征矩陣結(jié)構(gòu)較為復(fù)雜，現(xiàn)有聚類方法方法效果不是很理想。于是我們引入量子聚類方法對網(wǎng)絡(luò)的特征矩陣進(jìn)行聚類來劃分社區(qū)。首先用結(jié)構(gòu)相似度矩陣來度量網(wǎng)絡(luò)節(jié)點關(guān)系的強弱，對由該矩陣提取出的特征矩陣進(jìn)行聚類，將社區(qū)檢測問題轉(zhuǎn)化為聚類問題。并在聚類階段引入節(jié)點鄰接信息，提高了算法的處理效率并提高了算法性能，并在人工生成網(wǎng)絡(luò)和真實世界網(wǎng)絡(luò)上和其他算法做了對比。
　　本文得到如下基金資助：教育部新世紀(jì)優(yōu)秀人才支持計劃：（NCET-1