基于分布式的譜聚類算法在虛擬社區(qū)發(fā)現(xiàn)上的應用研究.pdf

1、社交網(wǎng)絡中由于用戶年齡、職業(yè)、興趣等的不同會呈現(xiàn)出社區(qū)結構特性，社區(qū)發(fā)現(xiàn)是社區(qū)結構特性的研究基礎和核心。社區(qū)發(fā)現(xiàn)可以分析不同社群間用戶的關系、發(fā)現(xiàn)隱藏在社區(qū)內部的規(guī)律、追蹤網(wǎng)絡中的熱點話題等，對好友推薦、精準營銷等都具有非常重要的作用。
　　目前有大量的社區(qū)發(fā)現(xiàn)方法，而譜聚類方法是基于圖理論的社區(qū)發(fā)現(xiàn)算法，適用于社交網(wǎng)絡這種可以抽象成用戶關系圖的數(shù)據(jù)。傳統(tǒng)的譜聚類算法因為時間復雜度高等原因大多應用在節(jié)點規(guī)模比較小的網(wǎng)絡上，而社交網(wǎng)

2、絡則是具有海量用戶的網(wǎng)絡，這對傳統(tǒng)的譜聚類算法提出了挑戰(zhàn)。本文主要研究內容就是將現(xiàn)在應用非常廣泛的分布式大數(shù)據(jù)計算框架 Hadoop應用到大規(guī)模社區(qū)發(fā)現(xiàn)中，針對社交網(wǎng)絡數(shù)據(jù)的特性，設計了合理的用戶相似度模型，彌補了傳統(tǒng)的譜聚類算法無法確定聚類個數(shù)、計算耗時長等缺陷，使其在大規(guī)模社區(qū)發(fā)現(xiàn)問題上的效率得以提高，以解決傳統(tǒng)譜聚類算法只能適用于小規(guī)模社區(qū)發(fā)現(xiàn)等問題。
　　本文針對譜聚類算法無法確定社區(qū)個數(shù)的缺點，提出了在社區(qū)結構明顯的場景

3、下應用基于PageRank的社區(qū)數(shù)目發(fā)現(xiàn)算法，得益于PageRank算法良好的并行性，使其可以在大規(guī)模數(shù)據(jù)集中運用并行計算來提高發(fā)現(xiàn)社區(qū)數(shù)目的效率；在社區(qū)結構不明顯的網(wǎng)絡中，提出基于模塊度優(yōu)化的譜聚類算法來發(fā)現(xiàn)社區(qū)數(shù)目。本文選用被公眾使用較多的微博社交網(wǎng)絡作為實驗驗證，微博中用戶有微博內容、關注、粉絲、交互、個人信息等眾多的屬性。
　　本文綜合四類用戶屬性信息，構建了更加合理的用戶相似度模型。針對譜聚類算法應用于社交網(wǎng)絡這個特殊場