帶懲罰項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)在線(xiàn)梯度法.pdf

1、多層前傳神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域有著廣泛的應(yīng)用.網(wǎng)絡(luò)的泛化能力,即網(wǎng)絡(luò)在訓(xùn)練集以外的樣本上的精度,是標(biāo)志神經(jīng)網(wǎng)絡(luò)性能的一個(gè)重要指標(biāo).提高網(wǎng)絡(luò)泛化能力的一個(gè)重要指導(dǎo)思想是選擇能夠在訓(xùn)練集上達(dá)到精度要求的盡可能小的網(wǎng)絡(luò).這里所說(shuō)的小網(wǎng)絡(luò)是指具有較少的神經(jīng)元或連接的網(wǎng)絡(luò).得到這樣的較小網(wǎng)絡(luò)的一個(gè)有效途徑是:在網(wǎng)絡(luò)訓(xùn)練完成之后刪除一些不重要的單元或連接.關(guān)于這方面的算法的介紹參見(jiàn)[7,15,19].其中,從網(wǎng)絡(luò)中刪除連接權(quán)值的方法中包括在傳統(tǒng)的誤差函

2、數(shù)中加入一個(gè)懲罰項(xiàng),這樣不重要的連接就有較小的權(quán)值,修剪這些權(quán)值就可以使網(wǎng)絡(luò)的復(fù)雜性大大減小[22].另外,在一些訓(xùn)練結(jié)束時(shí)不對(duì)網(wǎng)絡(luò)進(jìn)行修剪的情況中,網(wǎng)絡(luò)的復(fù)雜性仍然會(huì)因?yàn)闄?quán)值都比較小而大幅降低,因而會(huì)表現(xiàn)出較好的泛化能力[18,26].所以在BP網(wǎng)絡(luò)的誤差函數(shù)中加入懲罰項(xiàng)是提高網(wǎng)絡(luò)泛化能力的一個(gè)重要途徑.已有許多文獻(xiàn)研究了多種不同的懲罰項(xiàng),例如[10,12,13,22,26].他們中的大多數(shù)([10,12,22,26])都是在實(shí)驗(yàn)的基

3、礎(chǔ)上對(duì)懲罰項(xiàng)的性能進(jìn)行研究,沒(méi)有在數(shù)學(xué)上論證權(quán)值的有界性.Jun Kong&Wei Wu[13]對(duì)一種懲罰項(xiàng)的性質(zhì)在數(shù)學(xué)上作了研究,他們?cè)谟?xùn)練樣本線(xiàn)性無(wú)關(guān)(樣本個(gè)數(shù)不能多于樣本的維數(shù))的條件下,證明了應(yīng)用懲罰項(xiàng)到無(wú)隱層BP網(wǎng)絡(luò)中可以保證權(quán)值有界.該文將在Jun Kong&Wei Wu[13]工作的基礎(chǔ)上探討將懲罰項(xiàng)應(yīng)用到更重要的有隱層BP神經(jīng)網(wǎng)絡(luò)中,同時(shí)允許樣本線(xiàn)性相關(guān).我們證明了在上述條件下,網(wǎng)絡(luò)的每個(gè)權(quán)值都是有界的,并且網(wǎng)絡(luò)是確定性