Pi-Sigma神經(jīng)網(wǎng)絡(luò)的幾種梯度學(xué)習(xí)算法.pdf

1、到目前為止，人們提出了許多神經(jīng)網(wǎng)絡(luò)模型，其中應(yīng)用最廣泛的是前饋神經(jīng)網(wǎng)絡(luò)．早期前饋神經(jīng)網(wǎng)絡(luò)中只含有求和神經(jīng)元，在處理復(fù)雜非線(xiàn)性問(wèn)題時(shí)效率很低．后來(lái)，人們將求積神經(jīng)元引入到前饋神經(jīng)網(wǎng)絡(luò)中，用以增加網(wǎng)絡(luò)的非線(xiàn)性映射能力，提高網(wǎng)絡(luò)的學(xué)習(xí)效率．這樣的網(wǎng)絡(luò)可以統(tǒng)稱(chēng)為高階前饋神經(jīng)網(wǎng)絡(luò)．但是，如果只通過(guò)輸入節(jié)點(diǎn)值的簡(jiǎn)單乘積構(gòu)造求積神經(jīng)元以增加網(wǎng)絡(luò)的非線(xiàn)性映射能力，隨著輸入樣本維數(shù)的增加，所需權(quán)值的數(shù)量呈指數(shù)階增加，即出現(xiàn)“維數(shù)災(zāi)難”．Pi-Sigma

2、神經(jīng)網(wǎng)絡(luò)是1991 年Y．Shin提出的一種具有多項(xiàng)式乘積構(gòu)造的求積神經(jīng)元的高階前饋神經(jīng)網(wǎng)絡(luò)．該網(wǎng)絡(luò)既提高網(wǎng)絡(luò)的非線(xiàn)性映射能力，又避免了“維數(shù)災(zāi)難”的出現(xiàn)．此后，為了提高該網(wǎng)絡(luò)的應(yīng)用能力，Y．Shin、A.J. Hussaina、C.K. Li 等又以Pi-Sigma 神經(jīng)網(wǎng)絡(luò)為模塊構(gòu)造了更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，并在模式分類(lèi)和函數(shù)逼近等問(wèn)題中取得成功應(yīng)用． 學(xué)者們對(duì)只含有求和神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)的收斂性、泛化能力等理論問(wèn)題已有深入研究

3、，而對(duì)含有求積神經(jīng)元的高階前饋神經(jīng)網(wǎng)絡(luò)的研究主要集中在實(shí)際應(yīng)用上，相關(guān)理論方面的研究還很薄弱，仍存在許多有待解決的基本理論問(wèn)題．因此，從理論上分析 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的學(xué)習(xí)能力和收斂性具有很重要的實(shí)際意義，這些問(wèn)題的研究和解決將對(duì) Pi-Sigma 神經(jīng)網(wǎng)絡(luò)的應(yīng)用起到重要的促進(jìn)作用． 梯度算法是一種簡(jiǎn)單又常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，從樣本的輸入方式看，包括批處理和在線(xiàn)兩種運(yùn)行方式：從權(quán)值向量的更新方式來(lái)看，包括同步和

4、異步兩種更新方式．本論文主要研究用于訓(xùn)練 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)的幾種梯度學(xué)習(xí)算法的相關(guān)理論問(wèn)題，包括學(xué)習(xí)效率、收斂性等．另外，在網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方面做了一些嘗試． 本論文的結(jié)構(gòu)及內(nèi)容如下： 第一章回顧有關(guān)神經(jīng)網(wǎng)絡(luò)的一些背景知識(shí)． 第二章指出隨機(jī)單點(diǎn)在線(xiàn)梯度算法訓(xùn)練 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)過(guò)程中因權(quán)值較小會(huì)降低網(wǎng)絡(luò)收斂速度的問(wèn)題，并從理論上分析了這種現(xiàn)象產(chǎn)生的原因及權(quán)值更新受影響的程度．同時(shí)，為解決該問(wèn)題，給

5、出了一種帶懲罰項(xiàng)的隨機(jī)單點(diǎn)在線(xiàn)梯度算法． 第三章討論 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)異步批處理梯度算法和帶動(dòng)量項(xiàng)的異步批處理梯度算法的收斂性問(wèn)題．將動(dòng)量項(xiàng)引入到訓(xùn)練 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)的異步批處理梯度算法中，有效地改善了算法的學(xué)習(xí)效率，給出誤差函數(shù)的單調(diào)性定理及該算法的弱收斂和強(qiáng)收斂性定理及證明，并通過(guò)計(jì)算機(jī)仿真實(shí)驗(yàn)驗(yàn)證理論分析的正確性． 第四章分析 Pi-Sigma 神經(jīng)網(wǎng)絡(luò)在線(xiàn)梯度算法的收斂性問(wèn)題并給出收斂性結(jié)論