基于壓縮感知與神經(jīng)網(wǎng)絡(luò)的若干學(xué)習(xí)算法的誤差估計(jì).pdf

1、分類與回歸是機(jī)器學(xué)習(xí)領(lǐng)域的兩大重要問題.研究過程中,人們通常采用與之相關(guān)的學(xué)習(xí)算法來處理這兩類問題.由于學(xué)習(xí)算法的泛化性能是通過學(xué)習(xí)算法的泛化誤差界來刻畫的,為此,研究學(xué)習(xí)算法的泛化誤差界對(duì)衡量算法的泛化性能有著重要的指導(dǎo)意義.
　　本文以壓縮感知理論、統(tǒng)計(jì)學(xué)習(xí)理論以及神經(jīng)網(wǎng)絡(luò)的逼近理論為基礎(chǔ),系統(tǒng)地研究了最小平方回歸學(xué)習(xí)算法、最小平方正則回歸學(xué)習(xí)算法、壓縮的最小平方回歸學(xué)習(xí)算法以及壓縮分類學(xué)習(xí)算法的泛化誤差界并獲得了如下結(jié)果:<

2、br>　　(1)利用神經(jīng)網(wǎng)絡(luò)構(gòu)造假設(shè)空間,借用最小二乘思想并結(jié)合神經(jīng)網(wǎng)絡(luò)的逼近理論、覆蓋數(shù)理論以及統(tǒng)計(jì)學(xué)習(xí)中的概率不關(guān)系,建立了基于神經(jīng)網(wǎng)絡(luò)的最小平方回歸學(xué)習(xí)算法的泛化誤差上界.
　　(2)建立了基于神經(jīng)網(wǎng)絡(luò)與強(qiáng)混合樣本的最小平方正則回歸學(xué)習(xí)算法的泛化誤差上界.
　　(3)將壓縮感知理論中的壓縮投影技術(shù)引入到學(xué)習(xí)理論中,實(shí)現(xiàn)了對(duì)線性假設(shè)空間的降維處理,建立了基于一定條件下的線性假設(shè)空間和獨(dú)立同分布樣本的壓縮的最小平方回歸學(xué)習(xí)