模式識(shí)別核方法的理論研究及其應(yīng)用.pdf

1、核方法及其理論是以雙射函數(shù)和變換理論為基礎(chǔ)，它的核心是研究希爾伯特空間上的一些半正定函數(shù)以及它的相關(guān)應(yīng)用?；诤说臋C(jī)器學(xué)習(xí)方法不僅適用于以特征向量表示的模式，也適用于結(jié)構(gòu)化數(shù)據(jù)的模式，前者對(duì)應(yīng)的是向量核方法，后者對(duì)應(yīng)的是圖核方法。因此，模式識(shí)別核方法主要可以分為兩類:向量核方法和圖核方法，早期的研究主要集中于對(duì)向量核的研究，它不論在理論上，還是在應(yīng)用上都得到了較成功的發(fā)展，也吸引了很多領(lǐng)域的學(xué)者對(duì)基于核方法的機(jī)器學(xué)習(xí)的理論與應(yīng)用技術(shù)進(jìn)行

2、了應(yīng)用、推廣和發(fā)展。圖核發(fā)展較遲，近幾年才慢慢被人們逐漸熟知并加以應(yīng)用和推廣，尤其在數(shù)字圖像的結(jié)構(gòu)圖建模、特征描述和匹配等研究領(lǐng)域，被越來(lái)越多的學(xué)者關(guān)注，圖核因其能夠描述圖的結(jié)構(gòu)特征，所以在結(jié)構(gòu)模式識(shí)別領(lǐng)域具有獨(dú)天獨(dú)厚的優(yōu)勢(shì)。模式識(shí)別核方法具有堅(jiān)實(shí)的理論基礎(chǔ)，這使得核方法及其理論不僅在數(shù)學(xué)理論領(lǐng)域得到了非常重要的研究和發(fā)展，而且在模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等研究領(lǐng)域也得到了極為廣泛的關(guān)注與應(yīng)用。因此，進(jìn)一步研究核方法的理論與應(yīng)用具有非

3、常重要的意義。
　　本研究主要內(nèi)容包括：⑴提出了一種再生核希爾伯特空間上的多核學(xué)習(xí)方法。首先，通過(guò)狄拉克函數(shù)介紹了一類廣義微分方程的基本解，并分析了這個(gè)基本解是H2-空間上的再生核。其次，基于這個(gè)H2-空間上的再生核設(shè)計(jì)了一種基于H2-空間上再生核的多核學(xué)習(xí)方法。由多核代替單核能增強(qiáng)支持向量機(jī)決策函數(shù)的可解釋性，并且可以獲得更優(yōu)的分類性能。最后，用大量的實(shí)驗(yàn)驗(yàn)證了我們方法的有效性。⑵提出了一種多屬性的具有再生性的卷積核方法。首先，

4、通過(guò)狄拉克函數(shù)介紹了一類廣義微分方程的解，并基于這個(gè)解設(shè)計(jì)了一個(gè)多屬性卷積核函數(shù)。其次，驗(yàn)證了這個(gè)多屬性函數(shù)滿足Mercer核的條件，且這個(gè)多屬性核函數(shù)具備三個(gè)屬性:L1-范數(shù)，L2-范數(shù)和拉普拉斯核。再次，與傳統(tǒng)的希爾伯特空間核方法相比，該卷積核方法在考慮多個(gè)屬性的情況下，融合了每個(gè)屬性的特點(diǎn)，有助于提高基于多屬性核函數(shù)支持向量機(jī)的分類精度。最后，在實(shí)驗(yàn)數(shù)據(jù)集上驗(yàn)證了該方法擁有較好的分類能力。⑶提出了一種基于Weisfeiler-Le

5、hman(WL)圖核的三種混合圖核方法。首先，給出WL圖核的基本理論和相關(guān)知識(shí)，并介紹基于WL圖序列，進(jìn)一步介紹基于該序列的子樹核、邊核和最短路徑核。其次，基于WL圖核定義了三種混合圖核，第一種為加權(quán)混合圖核，它是參數(shù)混合圖核，第二種為精度比混合圖核，第三種為乘積混合圖核，后兩種圖核屬于無(wú)參數(shù)圖核。最后，實(shí)驗(yàn)結(jié)果表明基于WL圖核的組合圖核在所選實(shí)驗(yàn)數(shù)據(jù)集上與相應(yīng)的單個(gè)圖核比較，組合圖核可以獲得較好的分類精度，因此，研究混合圖核的理論與應(yīng)

6、用具有非常重要的實(shí)際意義。⑷提出了一種基于逼近的馮諾依曼熵的再生性圖核方法。首先，給出無(wú)向圖的一個(gè)信息熵逼近表達(dá)式，這個(gè)表達(dá)式是依賴于圖的頂點(diǎn)的度的統(tǒng)計(jì)，然后通過(guò)這個(gè)逼近的馮諾依曼熵來(lái)度量結(jié)構(gòu)圖信息。其次，通過(guò)一個(gè)廣義微分方程的基本解來(lái)給出H1-空間上的H1-核函數(shù)。最后，基于逼近的馮諾依曼信息熵與H1-核函數(shù)定義了一個(gè)逼近的馮諾依曼熵再生性圖核，實(shí)驗(yàn)結(jié)果表明，與其他圖核方法相比，我們方法的分類精度在所選的大多數(shù)數(shù)據(jù)集上能夠超過(guò)所選的其