電子郵件通信實體關系挖掘與分析研究.pdf

1、為了適應網(wǎng)絡數(shù)據(jù)快速增長的實體關系挖掘需要，電子郵件網(wǎng)絡作為應用最廣泛的通信網(wǎng)絡之一，因其社會性明顯、應用人群巨大、數(shù)據(jù)中隱含著現(xiàn)實的關系體系，其社會網(wǎng)絡分析的研究日趨活躍。對電子郵件網(wǎng)絡數(shù)據(jù)的社會結(jié)構(gòu)進行劃分呈現(xiàn)、未知鏈接的預測，是社會網(wǎng)絡分析在網(wǎng)絡數(shù)據(jù)實體關系挖掘中的重要內(nèi)容，同時在電子商務、社交推薦等商業(yè)應用，反恐、犯罪偵查等業(yè)務方面具有廣泛的應用前景。其中社團網(wǎng)絡劃分、鏈路預測則一直是研究的熱點方向。
　　面對大數(shù)據(jù)量的電

2、子郵件通信實體關系挖掘，社團劃分的效率、社團劃分的準確性和鏈路預測的召回率和準確率問題成為實際應用的困擾。本文從現(xiàn)有社會網(wǎng)絡分析的已知算法出發(fā)，針對電子郵件網(wǎng)絡通信實體關系挖掘中的社團結(jié)構(gòu)檢測算法的準確性問題、計算效率問題，以及鏈路預測算法召回率和準確率問題進行了深入研究。論文的主要貢獻如下：
　?。?）提出了一個新的社團結(jié)構(gòu)檢測算法的測度模型。該模型針對模塊度方法在劃分結(jié)果穩(wěn)定性方面存在的不足，基于信息中心度思想提出了一個新的測

3、度模型，該模型通過對節(jié)點間關聯(lián)度和節(jié)點的度進行加權，不僅能夠準確識別聚類中心，而且為網(wǎng)絡中節(jié)點間相似度計算提供了依據(jù)。據(jù)此進一步提出了一種新的社團劃分算法（BSM算法），仿真實驗和真實網(wǎng)絡數(shù)據(jù)集上的實驗結(jié)果表明，與模塊度方法相比，該算法的穩(wěn)定性和準確性更高，由此也證實了測度模型的有效性。
　　（2）提出了一個適用于大規(guī)模復雜網(wǎng)絡社團劃分的快速算法模型。該算法模型的研究工作分為兩步，首先針對魯汶快速算法首輪迭代效率低的問題，通過引入

4、剪枝策略，提出了一種改進算法（FLA算法）。然后針對魯汶快速算法基于模塊度優(yōu)化思想，易于收斂到局部最優(yōu)解的缺點，通過對優(yōu)化模板函數(shù)進行改進，引入節(jié)點的度和邊的權重等相關信息，在FLA算法的基礎上，提出了一種新的CDDW算法。仿真實驗和真實網(wǎng)絡數(shù)據(jù)集上的實驗結(jié)果表明，新的算法模型不僅能夠大幅降低計算開銷，而且能夠提高整個網(wǎng)絡社團劃分結(jié)果的準確性。
　?。?）提出了一種新型的鏈路預測集成學習算法模型。針對主流的鏈路預測算法普遍存在召回

5、率和準確率較低的問題，提出了一種新穎的集成學習算法模型，將鏈路預測問題視為一個二元分類問題，利用Booting算法框架提供的誤差反饋機制，設計實現(xiàn)了一個新的鏈路預測算法模型：AdaPred模型。為了進一步提高算法的準確率和召回率，提出了一種新的鏈路預測算法，并將其集成到AdaPred模型中。通過在論文協(xié)作網(wǎng)絡和電子郵件網(wǎng)絡等真實數(shù)據(jù)的實證研究，證明了AdaPred算法的預測準確率和召回率明顯優(yōu)于其他算法。
　?。?）研發(fā)了一個電子

6、郵件通信網(wǎng)絡實體關系可視化分析系統(tǒng)?？梢暬夹g有利于社會網(wǎng)絡分析走向?qū)嶋H應用，將對該技術的普及產(chǎn)生深遠影響。本論文以郵件網(wǎng)絡中的實體關系挖掘為切入點，研發(fā)了一個面向應用的可視化分析平臺。該平臺所提供的數(shù)據(jù)分析能力與國際前沿水平看齊，具有良好的通用性和可擴展性。所研發(fā)的原型系統(tǒng)已通過第三方測試和國家863課題驗收，驗收考評結(jié)果為優(yōu)秀。
　　綜上，本文對社會網(wǎng)絡分析技術走向?qū)嶋H應用時面臨的幾類重要挑戰(zhàn)性問題進行了針對性研究，并在此基礎