遞歸神經(jīng)網(wǎng)絡(luò)的研究及在非線性動(dòng)態(tài)系統(tǒng)辨識(shí)中的應(yīng)用.pdf

1、非線性動(dòng)態(tài)系統(tǒng)的辨識(shí)一直是控制領(lǐng)域研究的難點(diǎn)和熱點(diǎn)。傳統(tǒng)的多層前向神經(jīng)網(wǎng)絡(luò)屬于靜態(tài)網(wǎng)絡(luò)，在非線性動(dòng)態(tài)系統(tǒng)的應(yīng)用中存在很多問(wèn)題。而遞歸神經(jīng)網(wǎng)絡(luò)由于其反饋特征，能夠獲取系統(tǒng)的動(dòng)態(tài)相應(yīng)特征，更適合于非線性動(dòng)態(tài)系統(tǒng)的辨識(shí)。并且在辨識(shí)中，不需事先選擇模型階次，簡(jiǎn)化了辨識(shí)過(guò)程。因此，遞歸神經(jīng)網(wǎng)絡(luò)是控制系統(tǒng)辨識(shí)中最具發(fā)展?jié)摿Φ木W(wǎng)絡(luò)。近年來(lái)引起人們的廣泛關(guān)注。 遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有許多種，由于結(jié)構(gòu)上的不同，必然導(dǎo)致輸入/輸出關(guān)系的相異，因而表現(xiàn)

2、出不同的動(dòng)態(tài)變化性能。本文對(duì)遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)作出了總結(jié)。將遞歸動(dòng)態(tài)網(wǎng)絡(luò)分為三大類(lèi)：全局反饋遞歸網(wǎng)絡(luò)、前向遞歸網(wǎng)絡(luò)和混合型遞歸網(wǎng)絡(luò)。每一類(lèi)網(wǎng)絡(luò)又可分為若干種網(wǎng)絡(luò)。給出了每種網(wǎng)絡(luò)描述網(wǎng)絡(luò)特性的結(jié)構(gòu)圖，同時(shí)還對(duì)多種網(wǎng)絡(luò)進(jìn)行了功能對(duì)比，分析了各種網(wǎng)絡(luò)的異同。 在神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)程中，學(xué)習(xí)算法的研究一直是神經(jīng)網(wǎng)絡(luò)研究的核心。而遞歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一直沿用以誤差反傳為基礎(chǔ)的學(xué)習(xí)算法，它具有明顯的反向傳播的缺陷：收斂速度慢，容易陷入局部極

3、小。本文介紹了目前國(guó)內(nèi)外提出的兩種遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法——基于遞推最小二乘(RLS)算法的遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法、基于遞推預(yù)報(bào)誤差(RPE)算法的遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。 以誤差-修正學(xué)習(xí)為基礎(chǔ)，尋找目標(biāo)函數(shù)的極小值的過(guò)程是尋優(yōu)的過(guò)程。最優(yōu)化算法可分為兩大類(lèi)：確定類(lèi)算法和隨機(jī)類(lèi)算法。本文從這兩類(lèi)最優(yōu)算法出發(fā)，提出了兩類(lèi)新的遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。 第一類(lèi)算法將標(biāo)準(zhǔn)數(shù)值優(yōu)化技術(shù)中Levenberg-Marquardt(LM)算法

4、引入到遞歸神經(jīng)網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)中來(lái)，提出了遞歸神經(jīng)網(wǎng)絡(luò)的LM學(xué)習(xí)算法。這種算法提供了牛頓法的速度與保證收斂的最速下降法之間的一個(gè)折衷。進(jìn)一步地，為了克服遞歸神經(jīng)網(wǎng)絡(luò)的LM算法集中運(yùn)算的不足，提出了并行LM算法。它將計(jì)算分配到神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元，突出了神經(jīng)網(wǎng)絡(luò)并行處理信息的能力，提高了收斂速度與精度。 第二類(lèi)算法以一種基于模擬退火思想的隨機(jī)搜索算法--Alopex算法為基礎(chǔ)，提出了遞歸神經(jīng)網(wǎng)絡(luò)的改進(jìn)Alopex算法。這種算法克服