用于分類(lèi)的高斯過(guò)程研究.pdf

1、　　高斯過(guò)程模型(GP)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)新的研究熱點(diǎn),其良好的非參數(shù)、非線性特性以及先天概率背景,使得GP模型相對(duì)于其它傳統(tǒng)的機(jī)器學(xué)習(xí)模型具有更優(yōu)越的性能。GP模型既可用于分類(lèi),也可用于回歸預(yù)測(cè),當(dāng)其用于分類(lèi)時(shí)又被稱(chēng)為高斯過(guò)程分類(lèi)模型(GPC),本文主要對(duì)GPC模型展開(kāi)研究。在國(guó)家自然科學(xué)基金項(xiàng)目(60972106)資助下,本文主要研究了GPC模型實(shí)現(xiàn)方法及超參數(shù)選擇問(wèn)題。主要研究工作如下：
　　(1)提出了一種基于

2、類(lèi)間距判據(jù)(DBTC)的高斯過(guò)程模型超參數(shù)選擇方法。首先分析了GP模型傳統(tǒng)的超參數(shù)選擇方法,指出其不足之處,然后通過(guò)定義DBTC并分析其應(yīng)用于超參數(shù)選擇的優(yōu)勢(shì),選用DBTC作為高斯過(guò)程超參數(shù)選擇判別依據(jù)。主要實(shí)現(xiàn)思路為：將超參數(shù)作為自變量,DBTC作為因變量,獲得DBTC隨超參數(shù)變化的函數(shù),采用共軛梯度法求此函數(shù)的極值,以此獲得最優(yōu)超參數(shù)。將此方法在人工生成的樣本集上進(jìn)行高斯過(guò)程分類(lèi)實(shí)驗(yàn),驗(yàn)證了其可行性。
　　(2)將本文基于

3、DBTC的超參數(shù)選擇方法用來(lái)解決實(shí)際的二維樣本集分類(lèi)問(wèn)題。通過(guò)多個(gè)實(shí)際二維樣本集分類(lèi)實(shí)驗(yàn),比較基于DBTC的超參數(shù)選擇方法與傳統(tǒng)超參數(shù)選擇方法間的性能,本文基于DBTC的超參數(shù)選擇方法應(yīng)用于GPC模型時(shí)分類(lèi)性能優(yōu)于傳統(tǒng)的超參數(shù)選擇方法。從實(shí)驗(yàn)結(jié)果可看出,基于DBTC的方法的分類(lèi)準(zhǔn)確率相當(dāng)于或略高于傳統(tǒng)的超參數(shù)選擇方法,且超參數(shù)選擇耗時(shí)更少。
　　(3)將基于DBTC的高斯過(guò)程超參數(shù)選擇方法用來(lái)解決高維樣本集的分類(lèi)問(wèn)題。由于在高