遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析.pdf

1、人工神經(jīng)網(wǎng)絡(luò)(以下簡稱神經(jīng)網(wǎng)絡(luò))是通過對動物或人腦的基本單元-神經(jīng)元建模和連接，探索模擬動物或人腦神經(jīng)系統(tǒng)的學習、聯(lián)想、記憶和模式識別等功能的人工模型。20世紀40年代隨著McCulloch-Pitts模型的提出標志著神經(jīng)網(wǎng)絡(luò)的誕生，并引起了早期的神經(jīng)網(wǎng)絡(luò)研究熱潮。此后神經(jīng)網(wǎng)絡(luò)的研究卻經(jīng)歷了一段低迷的發(fā)展時期。直到20世紀80年代，由于Hopfield神經(jīng)網(wǎng)絡(luò)的提出，使得神經(jīng)網(wǎng)絡(luò)的研究又重新開始復蘇。Hopfield神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的

2、遞歸神經(jīng)網(wǎng)絡(luò)。由于遞歸神經(jīng)網(wǎng)絡(luò)的全互連結(jié)構(gòu)使得該網(wǎng)絡(luò)表現(xiàn)出極其復雜的動力學行為。而作為一個動力系統(tǒng)所表現(xiàn)出來的各種穩(wěn)態(tài)模式是神經(jīng)網(wǎng)絡(luò)系統(tǒng)模擬生物神經(jīng)系統(tǒng)學習、聯(lián)想、記憶和模式識別等一系列智能活動的基礎(chǔ)。穩(wěn)定性分析是動力學系統(tǒng)動態(tài)分析中的重要內(nèi)容。 神經(jīng)網(wǎng)絡(luò)由于具有極大的理論和應(yīng)用價值引起了廣泛的關(guān)注。例如神經(jīng)網(wǎng)絡(luò)已經(jīng)成功地應(yīng)用于圖像與信息處理、模式識別以及聯(lián)想記憶中。眾所周知，以上提及的神經(jīng)網(wǎng)絡(luò)的各種工程應(yīng)用都非常關(guān)鍵地依賴于神

3、經(jīng)網(wǎng)絡(luò)的穩(wěn)定性特性和動態(tài)行為。本文將基于Lyapunov穩(wěn)定性理論，以M-矩陣理論、線性矩陣不等式(LMI)方法以及LaSalle不變集原理等等為主要研究工具，對遞歸神經(jīng)網(wǎng)絡(luò)中的一系列重要問題，如時滯神經(jīng)網(wǎng)絡(luò)全局指數(shù)穩(wěn)定性問題，吸引域估計問題以及絕對指數(shù)穩(wěn)定性問題進行研究。具體來說包括如下六章內(nèi)容： 第一章首先回顧了神經(jīng)網(wǎng)絡(luò)的研究歷史，并指出本文研究的Hopfield神經(jīng)網(wǎng)絡(luò)模型作為一種典型的遞歸網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)研究歷史上的地位。

4、隨后在介紹神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)的基礎(chǔ)上分別介紹了前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，并對這兩類網(wǎng)絡(luò)進行了介紹。最后，用框圖對全文的篇章結(jié)構(gòu)進行了總體描述。 第二章介紹了全文的預備知識。這些預備知識包括本文中將要用到的一些定義、定理以及一些不等式。由于Lyapunov穩(wěn)定性理論是自始至終貫穿全文穩(wěn)定性分析的一個基本理論，因此在這一部分對Lyapunov穩(wěn)定性理論做了比較詳細的介紹。此外，在這一部分還集中介紹了本文將要研究的幾種遞歸神經(jīng)網(wǎng)絡(luò)模型。

5、由于激活函數(shù)的特性對于神經(jīng)網(wǎng)絡(luò)的性能至關(guān)重要，因此在本章的最后把目前文獻中常見的激活函數(shù)類作了個歸納。本文第三章和第四章中研究的廣義遞歸神經(jīng)網(wǎng)絡(luò)的激活函數(shù)就屬于這些函數(shù)類中的一種。 第三章提出了一種新的Lvapunov泛函方法研究變時滯廣義遞歸神經(jīng)網(wǎng)絡(luò)的全局指數(shù)穩(wěn)定性。隨后又運用該方法分別研究了變時滯神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)以及變時滯Hopfield神經(jīng)網(wǎng)絡(luò)的全局指數(shù)穩(wěn)定性問題。通過與現(xiàn)有的結(jié)果相比較可以看出，現(xiàn)有結(jié)果

6、中被廣泛采用的M矩陣判據(jù)可以看作本章中得出判據(jù)的一種特殊情況。此外，與其他類型的判據(jù)相比較也可以看出，本章中得出的判據(jù)保守性更小。在本章的最后以一個實際的具有兩個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)為例展示了本章中主要結(jié)論的有效性。 第四章基于Lvapunov-Krasovskii泛函和Lyapunov—Razumikhin函數(shù)思想以及LaSalle不變集原理，提出了一種新的廣義變時滯遞歸神經(jīng)網(wǎng)絡(luò)的吸引域估計方法。該方法與現(xiàn)有的吸引域估計方法相比最

7、大的兩個優(yōu)勢在于，吸引域可以在Matlab中通過求解一個凸優(yōu)化問題獲得，此外該方法可以用來研究具有時滯的神經(jīng)網(wǎng)絡(luò)吸引域估計問題。采用的基本思路是在研究系統(tǒng)平衡點的局部指數(shù)穩(wěn)定性的基礎(chǔ)上，把穩(wěn)定性條件和其他的約束轉(zhuǎn)化為LMI形式。隨后，通過定義參考集并以參考集的放大倍數(shù)為目標函數(shù)，以LMI為約束條件構(gòu)造優(yōu)化問題，通過在Matlab中求解凸優(yōu)化問題得到平衡點的吸引域估計。本章最后以一個具有兩個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)為例說明本章中提出方法的有效性。

8、 第五章研究了具有廣義激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)的絕對指數(shù)穩(wěn)定性。該網(wǎng)絡(luò)激活函數(shù)的每一個分量分別屬于一對凸或凹的分段線性函數(shù)構(gòu)成的凸包。這種類型的激活函數(shù)類與其他類型的激活函數(shù)類相比，更加靈活和準確地描述了激活函數(shù)的形狀。網(wǎng)絡(luò)平衡點的絕對指數(shù)穩(wěn)定的研究分為三步：第一步證明了具有廣義激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)和具有凸包頂點激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)在全局指數(shù)穩(wěn)定性上的等價性，由于這種等價性接下來的穩(wěn)定性研究僅僅針對具有凸包頂點激活函數(shù)的遞歸神