基于復(fù)雜網(wǎng)絡(luò)的網(wǎng)絡(luò)大數(shù)據(jù)聚類應(yīng)用研究.pdf

1、本文以網(wǎng)絡(luò)大數(shù)據(jù)為研究對象，分析大數(shù)據(jù)的特性，得出復(fù)雜網(wǎng)絡(luò)是網(wǎng)絡(luò)大數(shù)據(jù)的重要組成形式，而復(fù)雜網(wǎng)絡(luò)中社區(qū)結(jié)構(gòu)的發(fā)現(xiàn)與聚類算法具備天然的相似性。因此本文即運(yùn)用復(fù)雜網(wǎng)絡(luò)的方法來解決網(wǎng)絡(luò)大數(shù)據(jù)的聚類問題。
　　本文通過分析網(wǎng)絡(luò)大數(shù)據(jù)的特性得出網(wǎng)絡(luò)大數(shù)據(jù)所形成的復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)較多，規(guī)模較大，并且網(wǎng)絡(luò)大數(shù)據(jù)的聚類對是時(shí)間要求較高，所以全局發(fā)現(xiàn)算法不適合于網(wǎng)絡(luò)大數(shù)據(jù)的聚類。因此本文從局部發(fā)現(xiàn)的角度出發(fā)來進(jìn)行網(wǎng)絡(luò)大數(shù)據(jù)的聚類研究。提出了基于局部關(guān)

2、鍵節(jié)點(diǎn)的大數(shù)據(jù)聚類算法。首先，引入局部關(guān)鍵節(jié)點(diǎn)的思想，結(jié)合全局關(guān)鍵節(jié)點(diǎn)的發(fā)現(xiàn)方法，提出了局部關(guān)鍵節(jié)點(diǎn)的發(fā)現(xiàn)方法。然后，將局部關(guān)鍵節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)組成初始社區(qū)，并用推導(dǎo)后的適應(yīng)度公式向外進(jìn)行擴(kuò)張得到最終社區(qū)。然后分析大數(shù)據(jù)集的特性，得出在大數(shù)據(jù)集中往往一個(gè)社區(qū)內(nèi)有多個(gè)關(guān)鍵節(jié)點(diǎn)，因此，從局部關(guān)鍵節(jié)點(diǎn)根據(jù)適應(yīng)度公式向外逐個(gè)節(jié)點(diǎn)的擴(kuò)張就可能導(dǎo)致其他的關(guān)鍵節(jié)點(diǎn)被排除在外，并且關(guān)鍵節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)組成初始社區(qū)就有可能將相鄰社區(qū)的節(jié)點(diǎn)加入進(jìn)來導(dǎo)致聚類

3、結(jié)果質(zhì)量下降。針對這兩點(diǎn)不足，提出了基于局部關(guān)鍵社區(qū)的大數(shù)據(jù)聚類算法，通過引入極大團(tuán)的概念和進(jìn)一步對適應(yīng)度公式進(jìn)行改進(jìn)來提高聚類結(jié)果質(zhì)量。首先，分析極大團(tuán)的特性，得出極大團(tuán)是社區(qū)內(nèi)聯(lián)系最緊密的一組節(jié)點(diǎn)。所以由此可以判定，極大團(tuán)的所有節(jié)點(diǎn)都在一個(gè)社區(qū)內(nèi)，一個(gè)社區(qū)內(nèi)規(guī)模最大的極大團(tuán)則是這個(gè)社區(qū)內(nèi)最大團(tuán)即是這個(gè)社區(qū)的最核心的類別，也是整個(gè)社區(qū)的極大類。因此，可以將局部關(guān)鍵節(jié)點(diǎn)的發(fā)現(xiàn)方法和極大團(tuán)的發(fā)現(xiàn)方法相結(jié)合來發(fā)現(xiàn)局部關(guān)鍵社區(qū)。這樣可以將數(shù)據(jù)

4、集分為局部關(guān)鍵社區(qū)和普通節(jié)點(diǎn)兩個(gè)部分。由于原適應(yīng)度公式只能適合單一節(jié)點(diǎn)向外擴(kuò)張，而現(xiàn)在需要將較小的關(guān)鍵社區(qū)加入到社區(qū)中，因此對適應(yīng)度函數(shù)進(jìn)行改進(jìn)。然后，以規(guī)模最大的局部關(guān)鍵社區(qū)為初始社區(qū)運(yùn)用改進(jìn)后的適應(yīng)度公式向外擴(kuò)張得到最終社區(qū)。最后在真實(shí)數(shù)據(jù)集上進(jìn)行檢驗(yàn)，證明算法具有可行性并且能減少時(shí)間消耗。接著分析所提出算法的組成部分，提出對應(yīng)部分的并行策略和總體算法的并行策略，并在真實(shí)數(shù)據(jù)集上進(jìn)行驗(yàn)證。結(jié)果證明提出的并行策略在不影響結(jié)果質(zhì)量的前提