電子郵件通信實(shí)體關(guān)系挖掘與分析研究.pdf

1、為了適應(yīng)網(wǎng)絡(luò)數(shù)據(jù)快速增長的實(shí)體關(guān)系挖掘需要，電子郵件網(wǎng)絡(luò)作為應(yīng)用最廣泛的通信網(wǎng)絡(luò)之一，因其社會性明顯、應(yīng)用人群巨大、數(shù)據(jù)中隱含著現(xiàn)實(shí)的關(guān)系體系，其社會網(wǎng)絡(luò)分析的研究日趨活躍。對電子郵件網(wǎng)絡(luò)數(shù)據(jù)的社會結(jié)構(gòu)進(jìn)行劃分呈現(xiàn)、未知鏈接的預(yù)測，是社會網(wǎng)絡(luò)分析在網(wǎng)絡(luò)數(shù)據(jù)實(shí)體關(guān)系挖掘中的重要內(nèi)容，同時在電子商務(wù)、社交推薦等商業(yè)應(yīng)用，反恐、犯罪偵查等業(yè)務(wù)方面具有廣泛的應(yīng)用前景。其中社團(tuán)網(wǎng)絡(luò)劃分、鏈路預(yù)測則一直是研究的熱點(diǎn)方向。
　　面對大數(shù)據(jù)量的電

2、子郵件通信實(shí)體關(guān)系挖掘，社團(tuán)劃分的效率、社團(tuán)劃分的準(zhǔn)確性和鏈路預(yù)測的召回率和準(zhǔn)確率問題成為實(shí)際應(yīng)用的困擾。本文從現(xiàn)有社會網(wǎng)絡(luò)分析的已知算法出發(fā)，針對電子郵件網(wǎng)絡(luò)通信實(shí)體關(guān)系挖掘中的社團(tuán)結(jié)構(gòu)檢測算法的準(zhǔn)確性問題、計(jì)算效率問題，以及鏈路預(yù)測算法召回率和準(zhǔn)確率問題進(jìn)行了深入研究。論文的主要貢獻(xiàn)如下：
　?。?）提出了一個新的社團(tuán)結(jié)構(gòu)檢測算法的測度模型。該模型針對模塊度方法在劃分結(jié)果穩(wěn)定性方面存在的不足，基于信息中心度思想提出了一個新的測

3、度模型，該模型通過對節(jié)點(diǎn)間關(guān)聯(lián)度和節(jié)點(diǎn)的度進(jìn)行加權(quán)，不僅能夠準(zhǔn)確識別聚類中心，而且為網(wǎng)絡(luò)中節(jié)點(diǎn)間相似度計(jì)算提供了依據(jù)。據(jù)此進(jìn)一步提出了一種新的社團(tuán)劃分算法（BSM算法），仿真實(shí)驗(yàn)和真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與模塊度方法相比，該算法的穩(wěn)定性和準(zhǔn)確性更高，由此也證實(shí)了測度模型的有效性。
　　（2）提出了一個適用于大規(guī)模復(fù)雜網(wǎng)絡(luò)社團(tuán)劃分的快速算法模型。該算法模型的研究工作分為兩步，首先針對魯汶快速算法首輪迭代效率低的問題，通過引入

4、剪枝策略，提出了一種改進(jìn)算法（FLA算法）。然后針對魯汶快速算法基于模塊度優(yōu)化思想，易于收斂到局部最優(yōu)解的缺點(diǎn)，通過對優(yōu)化模板函數(shù)進(jìn)行改進(jìn)，引入節(jié)點(diǎn)的度和邊的權(quán)重等相關(guān)信息，在FLA算法的基礎(chǔ)上，提出了一種新的CDDW算法。仿真實(shí)驗(yàn)和真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，新的算法模型不僅能夠大幅降低計(jì)算開銷，而且能夠提高整個網(wǎng)絡(luò)社團(tuán)劃分結(jié)果的準(zhǔn)確性。
　　（3）提出了一種新型的鏈路預(yù)測集成學(xué)習(xí)算法模型。針對主流的鏈路預(yù)測算法普遍存在召回

5、率和準(zhǔn)確率較低的問題，提出了一種新穎的集成學(xué)習(xí)算法模型，將鏈路預(yù)測問題視為一個二元分類問題，利用Booting算法框架提供的誤差反饋機(jī)制，設(shè)計(jì)實(shí)現(xiàn)了一個新的鏈路預(yù)測算法模型：AdaPred模型。為了進(jìn)一步提高算法的準(zhǔn)確率和召回率，提出了一種新的鏈路預(yù)測算法，并將其集成到AdaPred模型中。通過在論文協(xié)作網(wǎng)絡(luò)和電子郵件網(wǎng)絡(luò)等真實(shí)數(shù)據(jù)的實(shí)證研究，證明了AdaPred算法的預(yù)測準(zhǔn)確率和召回率明顯優(yōu)于其他算法。
　?。?）研發(fā)了一個電子

6、郵件通信網(wǎng)絡(luò)實(shí)體關(guān)系可視化分析系統(tǒng)。可視化技術(shù)有利于社會網(wǎng)絡(luò)分析走向?qū)嶋H應(yīng)用，將對該技術(shù)的普及產(chǎn)生深遠(yuǎn)影響。本論文以郵件網(wǎng)絡(luò)中的實(shí)體關(guān)系挖掘?yàn)榍腥朦c(diǎn)，研發(fā)了一個面向應(yīng)用的可視化分析平臺。該平臺所提供的數(shù)據(jù)分析能力與國際前沿水平看齊，具有良好的通用性和可擴(kuò)展性。所研發(fā)的原型系統(tǒng)已通過第三方測試和國家863課題驗(yàn)收，驗(yàn)收考評結(jié)果為優(yōu)秀。
　　綜上，本文對社會網(wǎng)絡(luò)分析技術(shù)走向?qū)嶋H應(yīng)用時面臨的幾類重要挑戰(zhàn)性問題進(jìn)行了針對性研究，并在此基礎(chǔ)