熵在BP網(wǎng)絡(luò)泛化增強(qiáng)技術(shù)中的應(yīng)用.pdf

1、神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中最重要的模型之一，它基于無(wú)次序、無(wú)規(guī)則的樣本數(shù)據(jù)集，試圖從中提取出描述此樣本數(shù)據(jù)集特征的數(shù)學(xué)模型。其中，BP神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)簡(jiǎn)單、算法易于實(shí)現(xiàn)且理論堅(jiān)實(shí)，能夠?qū)崿F(xiàn)復(fù)雜的非線性映射，所以廣泛應(yīng)用于模式識(shí)別、智能控制等領(lǐng)域。但是，在BP網(wǎng)絡(luò)實(shí)際應(yīng)用中也存在一些不足，其主要有收斂速度慢、易于產(chǎn)生過(guò)擬合，進(jìn)而影響了網(wǎng)絡(luò)的泛化能力。網(wǎng)絡(luò)的泛化能力也就是對(duì)于未見(jiàn)樣本的辨識(shí)能力，是體現(xiàn)神經(jīng)網(wǎng)絡(luò)性能的一個(gè)重要指標(biāo)。
　　 提

2、高網(wǎng)絡(luò)泛化能力的一個(gè)指導(dǎo)思想是訓(xùn)練出在訓(xùn)練集能夠達(dá)到精度要求并且其結(jié)構(gòu)盡可能簡(jiǎn)單的網(wǎng)絡(luò)。本文首先研究了網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法，通過(guò)剪枝的方法在網(wǎng)絡(luò)訓(xùn)練過(guò)程中刪去一些不重要的單元和鏈接。重點(diǎn)分析了在傳統(tǒng)的誤差函數(shù)中加入懲罰項(xiàng)的間接剪枝法。在此基礎(chǔ)上，針對(duì)網(wǎng)絡(luò)收斂速度慢、產(chǎn)生過(guò)擬合的不足，設(shè)計(jì)了一種基于信息理論學(xué)習(xí)的懲罰項(xiàng)函數(shù)，通過(guò)正則化方法把一些先驗(yàn)知識(shí)融入到網(wǎng)絡(luò)的學(xué)習(xí)中，旨在提高泛化能力，同時(shí)解決訓(xùn)練效率問(wèn)題。最后，實(shí)驗(yàn)比較了傳統(tǒng)BP算法，帶