BP神經(jīng)網(wǎng)絡(luò)中一種逃離局部極小點(diǎn)的方法研究.pdf

1、BP(Back-Propagation)算法是現(xiàn)在用得最多的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，由于它是基于最速下降方法，它有收斂速度慢、容易陷入局部極小點(diǎn)等缺點(diǎn)，這限制了它的應(yīng)用范圍。 本文從標(biāo)準(zhǔn)BP算法容易陷入局部極小點(diǎn)這個(gè)問題著手，分析其容易陷入局部極小點(diǎn)的原因，即網(wǎng)絡(luò)神經(jīng)元的轉(zhuǎn)換函數(shù)Sigmoid函數(shù)存在一個(gè)飽和區(qū)域，在此區(qū)域中網(wǎng)絡(luò)節(jié)點(diǎn)的輸入變化大但是其輸出變化極小，甚至變化可以忽略不計(jì)，由此產(chǎn)生了網(wǎng)絡(luò)的輸出對(duì)輸入的敏感性極小，網(wǎng)絡(luò)的

2、輸出和輸入不協(xié)調(diào)，網(wǎng)絡(luò)陷入局部極小點(diǎn)。所以本文提出了一種改進(jìn)價(jià)值函數(shù)，使價(jià)值函數(shù)不僅與輸出層的輸出有關(guān)還與隱藏層的輸出有關(guān)，從而加大網(wǎng)絡(luò)對(duì)輸入的敏感性，使網(wǎng)絡(luò)的輸出和輸入之間盡可能協(xié)調(diào)，使其能快速逃離局部極小點(diǎn)，收斂到全局最小點(diǎn)。然后根據(jù)價(jià)值函數(shù)的性能曲面，對(duì)改進(jìn)的BP算法的各參數(shù)(因子)在幾種特殊情況下進(jìn)行了討論，并給出了迭代過程中最優(yōu)參數(shù)的計(jì)算方法。 在文章的最后對(duì)擴(kuò)展的異或問題進(jìn)行了仿真實(shí)驗(yàn)，用改進(jìn)BP算法和標(biāo)準(zhǔn)帶動(dòng)量因子