基于復(fù)雜網(wǎng)絡(luò)的網(wǎng)絡(luò)大數(shù)據(jù)聚類研究.pdf

1、隨著通訊科技和IT技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)規(guī)模不斷地?cái)U(kuò)大及結(jié)構(gòu)逐漸的復(fù)雜，使得網(wǎng)絡(luò)產(chǎn)生海量信息數(shù)據(jù)，即大數(shù)據(jù)(Big Data)。大數(shù)據(jù)的出現(xiàn)使得人類社會(huì)從信息時(shí)代過渡到大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)數(shù)據(jù)表現(xiàn)出復(fù)雜性、多樣性以及異質(zhì)性等特征。在真實(shí)網(wǎng)絡(luò)中，社區(qū)結(jié)構(gòu)（又稱聚類特性）是復(fù)雜網(wǎng)絡(luò)大數(shù)據(jù)的重要特征，即社區(qū)內(nèi)部連接比較緊密，社區(qū)之間連接比較稀疏。社區(qū)結(jié)構(gòu)是分析網(wǎng)絡(luò)大數(shù)據(jù)的關(guān)鍵與基礎(chǔ)，具有重要的研究價(jià)值和科學(xué)意義。目前社區(qū)發(fā)現(xiàn)已經(jīng)成為數(shù)

2、據(jù)挖掘等眾多領(lǐng)域最具挑戰(zhàn)性的研究課題之一。本文主要圍繞同質(zhì)網(wǎng)絡(luò)和異質(zhì)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法進(jìn)行研究，主要包括以下幾個(gè)方面的內(nèi)容:
　　(1)為了能夠有效地挖掘復(fù)雜網(wǎng)絡(luò)中的重疊社區(qū)結(jié)構(gòu)，本文提出一種基于極大團(tuán)連接相似性的重疊社區(qū)發(fā)現(xiàn)算法。該算法引入極大團(tuán)思想來初始化網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)，并根據(jù)團(tuán)間的共享鄰居節(jié)點(diǎn)和團(tuán)間橋接邊對(duì)社區(qū)間的連接性進(jìn)行量化處理，以此為依據(jù)合并網(wǎng)絡(luò)中的社區(qū)，得到較為合理的重疊社區(qū)結(jié)構(gòu)。將該算法與經(jīng)典的CPM算法在四個(gè)真實(shí)網(wǎng)

3、絡(luò)上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，通過本文算法得到的網(wǎng)絡(luò)社區(qū)結(jié)構(gòu)在精確率、覆蓋率和模塊度等方面有所提高，證明該算法發(fā)現(xiàn)的重疊社區(qū)結(jié)構(gòu)較為合理。
　　(2)針對(duì)傳統(tǒng)的同質(zhì)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法無法充分利用異質(zhì)信息的問題，本文提出一種基于語義路徑的異質(zhì)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法，充分考慮網(wǎng)絡(luò)中異質(zhì)節(jié)點(diǎn)和邊所包含的信息。該算法首先通過FindPath方法選取語義路徑;然后提取出不同語義路徑下對(duì)象的相似性矩陣;最后提取不同語義路徑下的對(duì)象特征并進(jìn)行融合，采

4、用K-Means算法得到最終的社區(qū)劃分結(jié)果。并在真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該算法的有效性。
　　(3)針對(duì)異質(zhì)網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)算法中無法充分保留異質(zhì)網(wǎng)絡(luò)原始結(jié)構(gòu)及其信息，而且較少考慮異質(zhì)節(jié)點(diǎn)同屬一個(gè)社區(qū)的情況，本文提出一種基于二部極大團(tuán)的異質(zhì)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法。該算法引入二部極大團(tuán)理論:首先，以關(guān)鍵節(jié)點(diǎn)所屬規(guī)模最大的二部極大團(tuán)作為初始社區(qū);然后，以量化的社區(qū)的鄰居節(jié)點(diǎn)與社區(qū)的相似性為依據(jù)對(duì)社區(qū)進(jìn)行擴(kuò)充;最后，劃分出合理的社區(qū)結(jié)