基于分布式的譜聚類算法在虛擬社區(qū)發(fā)現上的應用研究.pdf

1、社交網絡中由于用戶年齡、職業(yè)、興趣等的不同會呈現出社區(qū)結構特性，社區(qū)發(fā)現是社區(qū)結構特性的研究基礎和核心。社區(qū)發(fā)現可以分析不同社群間用戶的關系、發(fā)現隱藏在社區(qū)內部的規(guī)律、追蹤網絡中的熱點話題等，對好友推薦、精準營銷等都具有非常重要的作用。
　　目前有大量的社區(qū)發(fā)現方法，而譜聚類方法是基于圖理論的社區(qū)發(fā)現算法，適用于社交網絡這種可以抽象成用戶關系圖的數據。傳統(tǒng)的譜聚類算法因為時間復雜度高等原因大多應用在節(jié)點規(guī)模比較小的網絡上，而社交網

2、絡則是具有海量用戶的網絡，這對傳統(tǒng)的譜聚類算法提出了挑戰(zhàn)。本文主要研究內容就是將現在應用非常廣泛的分布式大數據計算框架 Hadoop應用到大規(guī)模社區(qū)發(fā)現中，針對社交網絡數據的特性，設計了合理的用戶相似度模型，彌補了傳統(tǒng)的譜聚類算法無法確定聚類個數、計算耗時長等缺陷，使其在大規(guī)模社區(qū)發(fā)現問題上的效率得以提高，以解決傳統(tǒng)譜聚類算法只能適用于小規(guī)模社區(qū)發(fā)現等問題。
　　本文針對譜聚類算法無法確定社區(qū)個數的缺點，提出了在社區(qū)結構明顯的場景

3、下應用基于PageRank的社區(qū)數目發(fā)現算法，得益于PageRank算法良好的并行性，使其可以在大規(guī)模數據集中運用并行計算來提高發(fā)現社區(qū)數目的效率；在社區(qū)結構不明顯的網絡中，提出基于模塊度優(yōu)化的譜聚類算法來發(fā)現社區(qū)數目。本文選用被公眾使用較多的微博社交網絡作為實驗驗證，微博中用戶有微博內容、關注、粉絲、交互、個人信息等眾多的屬性。
　　本文綜合四類用戶屬性信息，構建了更加合理的用戶相似度模型。針對譜聚類算法應用于社交網絡這個特殊場