基于正則化框架的核函數(shù)選擇.pdf

1、上世紀(jì)90年代，在Vapnik等人的努力下，基于數(shù)據(jù)的機(jī)器學(xué)習(xí)理論得到了長(zhǎng)足的發(fā)展，形成了一門(mén)比較完善的統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論的精髓在于引入了假設(shè)函數(shù)容量控制，為了使學(xué)習(xí)機(jī)具有更好的推廣能力，需要在假設(shè)函數(shù)容量控制和最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)之間作一個(gè)好的折中。在統(tǒng)計(jì)學(xué)習(xí)理論之前，核函數(shù)在機(jī)器學(xué)習(xí)中就被引入過(guò)，其中包含非線性映射和非線性函數(shù)。核函數(shù)能夠有效地對(duì)數(shù)據(jù)進(jìn)行降維，且避免了對(duì)數(shù)據(jù)的過(guò)度擬合。由于統(tǒng)計(jì)學(xué)習(xí)理論和核技術(shù)的結(jié)合，引起了核機(jī)器的

2、出現(xiàn)和快速成功的發(fā)展。目前的核機(jī)器技術(shù)主要有支持向量機(jī)，多核學(xué)習(xí)，PAC框架和核Fisher分類(lèi)器等問(wèn)題。
　　 本文就是在上述理論的視角上展開(kāi)，主要包括以下三個(gè)方面的內(nèi)容：
　　 首先，介紹了統(tǒng)計(jì)學(xué)習(xí)的基本理論及性質(zhì)定理，對(duì)希爾伯特學(xué)習(xí)空間上的核函數(shù)及相關(guān)知識(shí)進(jìn)行了總結(jié)。
　　 其次，由于統(tǒng)計(jì)學(xué)習(xí)理論和核函數(shù)的有效結(jié)合，得到的基于正則化框架的核函數(shù)學(xué)習(xí)最優(yōu)化問(wèn)題，有效地解決了有監(jiān)督學(xué)習(xí)的求解問(wèn)題。對(duì)正則化與核函