關(guān)系分類模型的學(xué)習(xí)界限與應(yīng)用.pdf

1、人類信息社會(huì)的飛速發(fā)展，產(chǎn)生了海量的信息。這些信息一般呈現(xiàn)復(fù)雜的關(guān)系，如社交網(wǎng)絡(luò)、網(wǎng)頁等，它們不僅數(shù)據(jù)內(nèi)部關(guān)系復(fù)雜，數(shù)據(jù)外部也通過鏈接、關(guān)注、訂閱等聯(lián)系起來。雖然人類可以利用機(jī)器學(xué)習(xí)方法，從這些海量信息中得出有價(jià)值的模式和知識，來解決各種社會(huì)、生活方面的問題，然而目前最常用的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法，卻常常忽略數(shù)據(jù)內(nèi)部和外部的聯(lián)系，模型的學(xué)習(xí)大都建立在數(shù)據(jù)獨(dú)立同分布的假設(shè)基礎(chǔ)上，導(dǎo)致模型對于關(guān)聯(lián)數(shù)據(jù)的擬合效果不甚理想。
　　為了解決以上問

2、題，研究者提出了統(tǒng)計(jì)關(guān)系學(xué)習(xí)（Statistical Relational Learning，SRL）。統(tǒng)計(jì)關(guān)系學(xué)習(xí)又稱概率邏輯學(xué)習(xí)，目標(biāo)是挖掘關(guān)系數(shù)據(jù)中的模式、邏輯、概率分布等信息，通過結(jié)構(gòu)和參數(shù)學(xué)習(xí)建立學(xué)習(xí)模型，最終利用模型對關(guān)系數(shù)據(jù)進(jìn)行推理和分類。因?yàn)樗Y(jié)合了知識庫與概率模型，從而具有解決復(fù)雜領(lǐng)域問題的能力。統(tǒng)計(jì)關(guān)系學(xué)習(xí)已經(jīng)成為人工智能和模式識別領(lǐng)域的一個(gè)研究熱點(diǎn)，在生物信息分析、在線社交網(wǎng)絡(luò)分析、自然語言處理、復(fù)雜數(shù)據(jù)挖掘等領(lǐng)域

3、，都取得了成功應(yīng)用。
　　本文主要研究統(tǒng)計(jì)關(guān)系模型在分類中的應(yīng)用。用于分類的統(tǒng)計(jì)關(guān)系學(xué)習(xí)模型通常稱為關(guān)系分類模型（Relation Classification model，RC model）。關(guān)系分類模型在學(xué)習(xí)過程中，會(huì)受到樣本間關(guān)系的影響。有研究工作表明，當(dāng)關(guān)系數(shù)據(jù)具有很高的關(guān)系自相關(guān)值，關(guān)系分類模型學(xué)習(xí)的結(jié)果將優(yōu)于傳統(tǒng)的分類模型。然而，由于涉及關(guān)系分類模型的一般學(xué)習(xí)界限的理論研究相對較少，使得研究者只能憑借經(jīng)驗(yàn)來控制分類模型

4、的學(xué)習(xí)過程，導(dǎo)致分類模型的泛化性能較差。因此，非常有必要針對該問題進(jìn)行深入的研究，加深對關(guān)系分類模型學(xué)習(xí)過程的理解，進(jìn)而優(yōu)化學(xué)習(xí)的過程。另外，在網(wǎng)絡(luò)安全相關(guān)的態(tài)勢感知、網(wǎng)絡(luò)輿論分析問題中，由于采集的數(shù)據(jù)呈現(xiàn)出很高的相關(guān)性，因此在這些問題中應(yīng)用關(guān)系分類模型具有很強(qiáng)的現(xiàn)實(shí)需求。鑒于以上考慮，本文主要研究以下4個(gè)方面：
　　1.針對關(guān)系分類模型缺少準(zhǔn)確的復(fù)雜性度量和一般學(xué)習(xí)界限的問題，提出一個(gè)新的衡量關(guān)系分類模型關(guān)聯(lián)數(shù)據(jù)能力的復(fù)雜性度量

5、——關(guān)系維。證明了該復(fù)雜度和關(guān)系分類模型的生長函數(shù)之間的關(guān)系，推導(dǎo)出有限VC維和有限關(guān)系維情況下的學(xué)習(xí)界限。然后分析了該界限可學(xué)習(xí)和有意義的條件，并對界限的可行性進(jìn)行了詳細(xì)的分析。最后分析了基于馬爾科夫邏輯網(wǎng)的傳統(tǒng)學(xué)習(xí)界限和關(guān)系分類中的學(xué)習(xí)情況，實(shí)驗(yàn)結(jié)果表明提出的界限能夠解釋實(shí)際關(guān)系分類中遇到的一些問題。在社交網(wǎng)絡(luò)相關(guān)分析和具有內(nèi)在關(guān)聯(lián)性的網(wǎng)絡(luò)安全數(shù)據(jù)分析中有廣泛的應(yīng)用前景。
　　2.針對關(guān)系分類模型缺少穩(wěn)定性度量和穩(wěn)定學(xué)習(xí)算法的

6、問題，定義了關(guān)系分類模型的穩(wěn)定性測度——依賴穩(wěn)定性，得出一個(gè)基于依賴穩(wěn)定性的學(xué)習(xí)界限。根據(jù)對該界限的詳細(xì)分析，設(shè)計(jì)了一個(gè)穩(wěn)定的關(guān)系分類模型學(xué)習(xí)算法。最后實(shí)驗(yàn)結(jié)果表明該算法增加了關(guān)系分類模型的穩(wěn)定性，同時(shí)降低了其經(jīng)驗(yàn)風(fēng)險(xiǎn)和真實(shí)風(fēng)險(xiǎn)之間的差距。
　　3.針對多領(lǐng)域關(guān)系分類問題，設(shè)計(jì)了一個(gè)多關(guān)系領(lǐng)域遷移學(xué)習(xí)算法，該算法能夠?qū)⒍鄠€(gè)領(lǐng)域的知識進(jìn)行融合、雜交和創(chuàng)新，并將這些知識存儲(chǔ)在一個(gè)不確定的知識超圖中。然后提出一個(gè)精確地和一個(gè)近似的期望支

7、持度算法，從不確定的知識超圖中有效地挖掘頻繁子知識超圖。最后將這些頻繁子知識超圖，即多個(gè)關(guān)系分類之間蘊(yùn)含的有價(jià)值的核心知識優(yōu)先遷移到目標(biāo)域中。實(shí)驗(yàn)結(jié)果表明我們的算法在準(zhǔn)確性方面優(yōu)于目前最好的關(guān)系遷移學(xué)習(xí)算法。
　　4.將上述理論和算法應(yīng)用于網(wǎng)絡(luò)可用性預(yù)估、網(wǎng)絡(luò)輿論領(lǐng)袖識別、垃圾郵件分類和網(wǎng)絡(luò)輿論傾向性分析中，驗(yàn)證了本文提出的學(xué)習(xí)理論和算法在網(wǎng)絡(luò)安全問題中的有效性。
　　通過以上的研究，本文建立了關(guān)系分類模型的一般學(xué)習(xí)界限理論