前饋神經(jīng)網(wǎng)絡(luò)的奇異學(xué)習(xí)動(dòng)態(tài)研究.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都得到了廣泛的應(yīng)用，然而其學(xué)習(xí)過(guò)程經(jīng)常會(huì)變得很慢，容易陷入局部極小點(diǎn)，有時(shí)會(huì)陷入平坦區(qū)。研究導(dǎo)致這些問(wèn)題出現(xiàn)的內(nèi)在工作機(jī)制是神經(jīng)網(wǎng)絡(luò)界的熱點(diǎn)問(wèn)題。本文從神經(jīng)網(wǎng)絡(luò)奇異性的角度分析前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)動(dòng)態(tài),以多層感知器(MLPs)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，通過(guò)對(duì)奇異性區(qū)域附近的學(xué)習(xí)動(dòng)態(tài)進(jìn)行理論分析和數(shù)值分析，闡述神經(jīng)網(wǎng)絡(luò)奇異性行為的內(nèi)在結(jié)構(gòu)和發(fā)生機(jī)制。本文的貢獻(xiàn)主要包括:
　　1.平均學(xué)習(xí)

2、方程對(duì)分析前饋神經(jīng)網(wǎng)絡(luò)的奇異性行為起著關(guān)鍵的作用?？煞e神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)能夠得到平均學(xué)習(xí)方程的解析表達(dá)式，使得我們可以對(duì)前饋神經(jīng)網(wǎng)絡(luò)的奇異學(xué)習(xí)動(dòng)態(tài)做定量分析。為克服MLPs中傳統(tǒng)的激活函數(shù)—log-sigmoid函數(shù)和雙曲正切函數(shù)不可積的問(wèn)題，分別選取單極性誤差函數(shù)和雙極性誤差函數(shù)作為MLPs的激活函數(shù)，首次給出了MLPs的平均學(xué)習(xí)方程的解析表達(dá)式。
　　2.使用傳統(tǒng)方法對(duì)單極性神經(jīng)元的MLPs中的重合奇異性區(qū)域附近的學(xué)習(xí)動(dòng)態(tài)進(jìn)

3、行了詳細(xì)分析?；谄骄鶎W(xué)習(xí)方程的解析表達(dá)式，給出Hessian陣的顯式形式，對(duì)重合奇異性區(qū)域進(jìn)行了特征值分析，并給出了實(shí)際的平均學(xué)習(xí)軌跡，與理論的學(xué)習(xí)軌跡進(jìn)行比較分析。通過(guò)使用Taylor展開，對(duì)MLPs重合奇異性區(qū)域附近的泛化誤差曲面進(jìn)行分析，發(fā)現(xiàn)在重合奇異性區(qū)域附近泛化誤差曲面更加平坦，表明實(shí)際中重合奇異性區(qū)域有著比理論分析結(jié)果更大的影響區(qū)域。在仿真實(shí)驗(yàn)中分別對(duì)單極性神經(jīng)元的MLPs的平均學(xué)習(xí)動(dòng)態(tài)，批處理學(xué)習(xí)動(dòng)態(tài)和在線學(xué)習(xí)動(dòng)態(tài)進(jìn)行了

4、分析討論。
　　3.對(duì)雙極性神經(jīng)元的MLPs中的互反奇異性區(qū)域附近的學(xué)習(xí)動(dòng)態(tài)進(jìn)行了討論分析。通過(guò)選取雙極性誤差函數(shù)作為激活函數(shù)，使用坐標(biāo)變換和Taylor展開，求得了互反奇異性區(qū)域附近的理論學(xué)習(xí)軌跡和實(shí)際的平均學(xué)習(xí)軌跡。給出了雙極性神經(jīng)元的MLPs重合奇異性區(qū)域和互反奇異性區(qū)域上的臨界點(diǎn)，表明雙極性神經(jīng)元的MLPs的參數(shù)空間中的臨界點(diǎn)比單極性神經(jīng)元的MLPs更多，選取單極性的激活函數(shù)更有優(yōu)勢(shì)。在仿真實(shí)驗(yàn)中分別討論了MLPs的平均學(xué)