帶懲罰項的BP神經(jīng)網(wǎng)絡(luò)在線梯度法.pdf

1、多層前傳神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域有著廣泛的應(yīng)用.網(wǎng)絡(luò)的泛化能力,即網(wǎng)絡(luò)在訓(xùn)練集以外的樣本上的精度,是標志神經(jīng)網(wǎng)絡(luò)性能的一個重要指標.提高網(wǎng)絡(luò)泛化能力的一個重要指導(dǎo)思想是選擇能夠在訓(xùn)練集上達到精度要求的盡可能小的網(wǎng)絡(luò).這里所說的小網(wǎng)絡(luò)是指具有較少的神經(jīng)元或連接的網(wǎng)絡(luò).得到這樣的較小網(wǎng)絡(luò)的一個有效途徑是:在網(wǎng)絡(luò)訓(xùn)練完成之后刪除一些不重要的單元或連接.關(guān)于這方面的算法的介紹參見[7,15,19].其中,從網(wǎng)絡(luò)中刪除連接權(quán)值的方法中包括在傳統(tǒng)的誤差函

2、數(shù)中加入一個懲罰項,這樣不重要的連接就有較小的權(quán)值,修剪這些權(quán)值就可以使網(wǎng)絡(luò)的復(fù)雜性大大減小[22].另外,在一些訓(xùn)練結(jié)束時不對網(wǎng)絡(luò)進行修剪的情況中,網(wǎng)絡(luò)的復(fù)雜性仍然會因為權(quán)值都比較小而大幅降低,因而會表現(xiàn)出較好的泛化能力[18,26].所以在BP網(wǎng)絡(luò)的誤差函數(shù)中加入懲罰項是提高網(wǎng)絡(luò)泛化能力的一個重要途徑.已有許多文獻研究了多種不同的懲罰項,例如[10,12,13,22,26].他們中的大多數(shù)([10,12,22,26])都是在實驗的基

3、礎(chǔ)上對懲罰項的性能進行研究,沒有在數(shù)學(xué)上論證權(quán)值的有界性.Jun Kong&Wei Wu[13]對一種懲罰項的性質(zhì)在數(shù)學(xué)上作了研究,他們在訓(xùn)練樣本線性無關(guān)(樣本個數(shù)不能多于樣本的維數(shù))的條件下,證明了應(yīng)用懲罰項到無隱層BP網(wǎng)絡(luò)中可以保證權(quán)值有界.該文將在Jun Kong&Wei Wu[13]工作的基礎(chǔ)上探討將懲罰項應(yīng)用到更重要的有隱層BP神經(jīng)網(wǎng)絡(luò)中,同時允許樣本線性相關(guān).我們證明了在上述條件下,網(wǎng)絡(luò)的每個權(quán)值都是有界的,并且網(wǎng)絡(luò)是確定性