核正則化回歸學(xué)習(xí)和向量排序的收斂性分析及應(yīng)用.pdf

1、在經(jīng)濟(jì)社會(huì)問題中，許多實(shí)際任務(wù)都可以轉(zhuǎn)化為回歸問題，比如，市場(chǎng)趨勢(shì)預(yù)測(cè)、人口預(yù)測(cè)、經(jīng)濟(jì)發(fā)展因素分析、股價(jià)預(yù)測(cè)等。排序?qū)W習(xí)在實(shí)際中也有許多應(yīng)用的例子，比如，作為一個(gè)有力工具，排序?qū)W習(xí)在信息檢索、質(zhì)量控制、生存分析、計(jì)算生物學(xué)等方面有著許多實(shí)際應(yīng)用價(jià)值。
　　在回歸分析中，經(jīng)常遇到非線性問題，此時(shí)常用的回歸方法，如多元線性回歸、多元逐步回歸、線性分位數(shù)回歸等方法，就不能對(duì)數(shù)據(jù)進(jìn)行有效擬合和預(yù)測(cè)了。核函數(shù)的表示方法，通過(guò)定義一個(gè)核函數(shù)作

2、為非線性變換，將輸入空間的非線性數(shù)據(jù)映射到高維的特征空間，然后在這個(gè)線性的特征空間中構(gòu)造回歸函數(shù)，而且只需要計(jì)算數(shù)據(jù)在特征空間的內(nèi)積就可以表示數(shù)據(jù)的特征。因此利用核函數(shù)技術(shù)，不失為解決非線性回歸問題的一種有效方法。
　　在進(jìn)行回歸分析時(shí)，基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的回歸算法屬于不適定問題，在樣本量較小時(shí)容易出現(xiàn)“過(guò)擬合現(xiàn)象”，雖然對(duì)訓(xùn)練數(shù)據(jù)有較高的擬合度，但是對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力差，模型的復(fù)雜度過(guò)大。為此，Tikhonov提出了正則化

3、的方法，在期望風(fēng)險(xiǎn)后面加上表示模型復(fù)雜度的正則化項(xiàng)，在這種結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則下進(jìn)行回歸學(xué)習(xí)。
　　核正則化方法同時(shí)結(jié)合核函數(shù)技術(shù)和正則化方法的優(yōu)點(diǎn)，是學(xué)習(xí)理論當(dāng)前采用的一種新方法。本文基于核正則化方法，在最小平方損失下，對(duì)回歸學(xué)習(xí)和向量排序?qū)W習(xí)的收斂速度進(jìn)行研究。對(duì)算法的誤差上界進(jìn)行量化分析，以此來(lái)衡量根據(jù)訓(xùn)練樣本學(xué)習(xí)到的算法對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力，探討算法的收斂速度是否受到再生核空間的凸性、逼近性能和容量的影響，這是學(xué)習(xí)理論中的一

4、個(gè)焦點(diǎn)問題。
　　本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)體現(xiàn)在以下三個(gè)方面:
　　1.近年來(lái)已經(jīng)有許多文獻(xiàn)對(duì)再生核Hilbert空間的正則化回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究。但是由于Hilbert空間的結(jié)構(gòu)簡(jiǎn)單所以有局限性，實(shí)際上許多數(shù)據(jù)不滿足由Hilbert空間的內(nèi)積誘導(dǎo)的距離。因此有必要擴(kuò)大假設(shè)函數(shù)空間，Banach空間就是一個(gè)合理的選擇。對(duì)再生核Banach空間的正則化回歸學(xué)習(xí)算法的收斂性進(jìn)行分析，這是一個(gè)新的研究領(lǐng)域，一個(gè)關(guān)鍵的

5、理論問題是Banach空間的幾何性質(zhì)如何影響收斂速度。
　　論文的第三章在Banach空間B具有q-一致凸性（其中q＞1），有一致連續(xù)的再生核等假定下，對(duì)再生核Banach空間的正則回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究，分別推導(dǎo)出了以期望均值和經(jīng)驗(yàn)均值表示的學(xué)習(xí)速度，結(jié)果表明Banach空間的一致凸性會(huì)影響核正則化回歸算法的學(xué)習(xí)速度，改進(jìn)了現(xiàn)有文獻(xiàn)中得到的學(xué)習(xí)速度。之后給出符合定理?xiàng)l件的再生核Banach空間的例子，說(shuō)明了定理?xiàng)l件的合

6、理性。
　　2.對(duì)于Banach空間無(wú)凸性要求的情況(q=1)，目前尚未見到對(duì)此時(shí)再生核Banach空間的正則化回歸算法的收斂性進(jìn)行分析，論文的第四章展開了這方面的研究，以期望均值的形式推導(dǎo)出了該核正則化回歸算法的泛化誤差的概率上界。研究結(jié)果表明此時(shí)正則化回歸算法的期望誤差上界與樣本量、再生核Banach空間的復(fù)雜度、逼近誤差、輸出空間Y的取值上界M、再生核等有關(guān)。
　　3.排序?qū)W習(xí)可以看作是特殊的回歸問題，但是也有它的不同

7、之處。在排序問題中，通過(guò)學(xué)習(xí)一個(gè)實(shí)值函數(shù)用以對(duì)樣本進(jìn)行打分，但是得分本身并不重要，關(guān)鍵在于通過(guò)這些得分對(duì)研究對(duì)象進(jìn)行相對(duì)排序。近年來(lái)，將排序理論和機(jī)器學(xué)習(xí)結(jié)合起來(lái)，形成了核正則化排序方法。將一般的排序問題擴(kuò)展為向量排序問題，這是一個(gè)新的研究?jī)?nèi)容。
　　在論文第五章中，利用假設(shè)空間的覆蓋數(shù)、再生性等特點(diǎn)，對(duì)最小平方損失下再生核Hilbert空間的正則化向量排序算法的收斂速度進(jìn)行了定量研究，利用G(a)teaux導(dǎo)數(shù)給出了最優(yōu)解和未知