核方法在分類、回歸與聚類方面的研究及應(yīng)用.pdf

1、近年來(lái)，核方法在模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域中得到了快速的發(fā)展。核方法的本質(zhì)，是通過(guò)核函數(shù)，把數(shù)據(jù)從低維的輸入空間映射到高維的特征空間。如在分類問(wèn)題上，核方法可以使輸入空間中線性不可分的數(shù)據(jù)，在特征空間中是線性可分的。
　　 本論文對(duì)核方法中的魯棒支持向量回歸機(jī)、半監(jiān)督多標(biāo)記支持向量學(xué)習(xí)、稀疏支持向量學(xué)習(xí)及核聚類等四個(gè)方面進(jìn)行研究。具體來(lái)說(shuō)，本論文的工作分述如下：
　　 針對(duì)魯棒支持向量回歸機(jī)問(wèn)題，提出一種自適應(yīng)誤差懲罰支持向

2、量回歸機(jī)AEPSVR，該算法能夠減少離群點(diǎn)對(duì)支持向量回歸機(jī)的不利影響。進(jìn)一步地，研究了魯棒支持向量回歸機(jī)的代價(jià)函數(shù)的性質(zhì)，引入一類魯棒代價(jià)函數(shù)族，實(shí)現(xiàn)了模糊魯棒支持向量回歸機(jī)FRSVR。FRSVR不僅具有魯棒性的優(yōu)點(diǎn)，而且能夠?qū)﹄x群點(diǎn)進(jìn)行識(shí)別。
　　 對(duì)于半監(jiān)督多標(biāo)記的支持向量學(xué)習(xí)問(wèn)題，研究一種半監(jiān)督多標(biāo)記支持向量算法SSML_SVM。SSML_SVM把半監(jiān)督多標(biāo)記學(xué)習(xí)問(wèn)題轉(zhuǎn)化為半監(jiān)督單標(biāo)記學(xué)習(xí)問(wèn)題，然后基于MAP(Maximu

3、m a Posteriori)原則對(duì)未標(biāo)記樣本分類，通過(guò)迭代的方式求解半監(jiān)督單標(biāo)記學(xué)習(xí)問(wèn)題。SSML_SVM能利用未標(biāo)記樣本的信息，提高多標(biāo)記學(xué)習(xí)的性能。
　　 在稀疏支持向量學(xué)習(xí)問(wèn)題上，給出一種直接稀疏核回歸機(jī)DSKR。在DSKR中，通過(guò)給ε-SVR支持向量回歸機(jī)增加非凸約束，限定支持向量個(gè)數(shù)，然后用梯度下降法求解優(yōu)化問(wèn)題。DSKR算法可以顯著地降低支持向量的數(shù)量，用更少的支持向量，得到較好的擬合結(jié)果。
　　 在核聚類

4、算法問(wèn)題上，研究了兩種改進(jìn)的信任力傳播聚類算法SSKAPC和AFAPC。SSKAPC用核函數(shù)將樣本映射到高維空間，并使用先驗(yàn)信息輔助聚類，提高了聚類精度。AFAPC算法是一種基于萬(wàn)有引力的信任力傳播聚類算法，該算法根據(jù)近鄰樣本之間的信息，加快聚類速度，能在更短的運(yùn)行時(shí)間內(nèi)，得到與信任力傳播聚類算法相媲美的性能。
　　 作者在攻讀博士學(xué)位期間還進(jìn)行了偽圖像識(shí)別方面的工作，研究一種偽圖像識(shí)別算法BERFS。BERFS從語(yǔ)義的角度，根