基于隱狄利克雷分布的社區(qū)發(fā)現(xiàn)技術研究與實現(xiàn).pdf

1、隨著近年來互聯(lián)網技術的快速興起，在線社交網絡作為一種現(xiàn)實社交在互聯(lián)網中的投射物，越來越具有相當?shù)难芯績r值。在現(xiàn)實社會關系中，以自然人為節(jié)點，人與人之間的各種直接聯(lián)系為邊，可以構建出一個十分復雜的社交關系網。人類的社會性和地理、文化等因素又共同決定著這種現(xiàn)實社交關系網必定是以各種各樣或大或小的社交圈組成的，而現(xiàn)實中的這種社交圈特征投射到在線社交網絡中，則表現(xiàn)為以虛擬用戶為節(jié)點的虛擬社區(qū)。
　　虛擬社區(qū)檢測對于理解在線社交網絡的結構特

2、征以及其演化規(guī)律、從而為進一步理解人類社會關系特征、乃至于理解人類行為規(guī)律都有著十分重要的作用。從應用的角度來講，在社交網絡中發(fā)現(xiàn)虛擬社區(qū)可以讓互聯(lián)網服務提供者更好地理解用戶的行為模式和興趣愛好，從而更好的為用戶提供個性化服務。而在信息安全的層面，虛擬社區(qū)檢測技術在應對網絡水軍、非法信息傳播控制等上都具有相當高的現(xiàn)實意義。
　　本文分析了社區(qū)發(fā)現(xiàn)領域的現(xiàn)有理論和技術，總結出其面臨的幾個問題，在綜合考慮模型效果、在線社交網絡數(shù)據(jù)形式

3、以及處理效率的的基礎上，提出了基于隱狄利克雷分布的社區(qū)發(fā)現(xiàn)模型及其實現(xiàn)。本文的主要工作以及研究成果包括：
　　1、介紹了社交網絡大數(shù)據(jù)挖掘的基本背景以及社區(qū)發(fā)現(xiàn)的已有相關研究和工作，在對已有工作進行闡述和分析的基礎上，總結出現(xiàn)有工作所面臨的問題，并提出了相應的解決辦法；
　　2、基于貝葉斯圖模型，提出了一種可綜合考慮交互信息、網絡結構以及交互行為時間信息的社區(qū)發(fā)現(xiàn)模型COT(Community Over Time),可用于從

4、在線社交網絡的交互數(shù)據(jù)中發(fā)現(xiàn)具有特定主題傾向及周期性行為模式的動態(tài)交互社區(qū)；
　　3、為了使COT模型適應于大數(shù)據(jù)時代海量數(shù)據(jù)處理的要求，本文在對COT模型進行詳細分析和優(yōu)化的基礎上提出了一種可有效應用于并行與分布式計算環(huán)境下的近似模型AD-COT(Approximate Distributed COT)，大大提升了COT模型的可擴展性；
　　4、利用新浪微博的大規(guī)模數(shù)據(jù)集，本文基于Apache Spark平臺對COT及AD