基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)技術(shù)(ANN)經(jīng)過幾十年的發(fā)展，其相關(guān)的理論體系也越發(fā)完善。隨著研究的不斷深入，其在模式識別、故障診斷、最優(yōu)控制、目標(biāo)追蹤以及金融時(shí)序預(yù)測等領(lǐng)域取得了廣泛的研究和應(yīng)用。決定神經(jīng)網(wǎng)絡(luò)使用效果好壞的關(guān)鍵在于訓(xùn)練算法，已有的訓(xùn)練算法對于問題規(guī)模較小、訓(xùn)練數(shù)據(jù)未受噪聲污染的情況能夠取得較為理想的訓(xùn)練效果。但是在當(dāng)前新形勢的應(yīng)用背景下，問題規(guī)模往往較大、訓(xùn)練數(shù)據(jù)也更易受噪聲污染，傳統(tǒng)的訓(xùn)練算法無論是在收斂速度還是在訓(xùn)練精度上均不能滿足

2、要求。非線性濾波算法作為非線性系統(tǒng)狀態(tài)的最優(yōu)估計(jì)，已經(jīng)廣泛應(yīng)用與參數(shù)估計(jì)、系統(tǒng)辨識等領(lǐng)域，其對于噪聲的適應(yīng)能力強(qiáng)，具有全局優(yōu)化的能力。經(jīng)過國內(nèi)外眾多專家學(xué)者的共同努力，已經(jīng)成功將非線性濾波算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，取得了良好的訓(xùn)練效果。本文在具體分析神經(jīng)網(wǎng)絡(luò)以及非線性濾波理論發(fā)展現(xiàn)狀的基礎(chǔ)上，提出了兩種基于最新非線性濾波研究成果的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。
　　現(xiàn)有利用擴(kuò)展卡爾曼濾波(EKF)對多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，存在

3、較大的一階舍入誤差從而影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果；利用不敏卡爾曼濾波(UKF)對多層感知器訓(xùn)練過程中存在參數(shù)選取復(fù)雜，容易產(chǎn)生非正定的問題。針對以上問題，本文首先提出了一種基于最新非線性濾波研究成果——容積卡爾曼濾波(CKF)的多層感知器訓(xùn)練方法?？紤]到非線性濾波算法是在狀態(tài)空間模型下實(shí)施的，首先將多層感知器的連接權(quán)值以及偏置節(jié)點(diǎn)作為狀態(tài)向量，將網(wǎng)絡(luò)的輸出作為量測建立多層感知器的狀態(tài)空間模型；然后利用系統(tǒng)的量測信息并結(jié)合 CKF算法得到連接

4、權(quán)值向量的最優(yōu)估計(jì)，從而完成網(wǎng)絡(luò)的訓(xùn)練；最后通過一個(gè)典型的非線性系統(tǒng)方程以及Mackey-Glass時(shí)序預(yù)測對所提方法進(jìn)行驗(yàn)證，結(jié)果表明所提訓(xùn)練方法相比于已有方法不僅訓(xùn)練精度有所提高，而且效率更好。
　　考慮到高斯-牛頓迭代策略能夠充分利用已有信息來提高非線性模型參數(shù)的估計(jì)精度，本著提高已知信息的的利用率、進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度為目的，提出了一種基于迭代容積卡爾曼濾波(ICKF)算法的徑向基神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。首先詳細(xì)分析徑向