神經(jīng)網(wǎng)絡(luò)優(yōu)化方法及動態(tài)特性分析.pdf

1、在科學(xué)研究與工程應(yīng)用中，經(jīng)常會碰到約束優(yōu)化問題。傳統(tǒng)的數(shù)值計算方法涉及到復(fù)雜的迭代過程，需要大量的計算時間，因此限制了它在大規(guī)模規(guī)劃或?qū)崟r優(yōu)化方面的應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)是一種具有大量神經(jīng)元相互連接的并行分布式處理器，在高效運算方面比傳統(tǒng)的數(shù)值迭代方法具有更多優(yōu)勢，所以常被用于解決實時優(yōu)化問題。本文對神經(jīng)網(wǎng)絡(luò)優(yōu)化方法及動態(tài)特性進行了深入系統(tǒng)的研究，主要工作和成果如下： 1．介紹了神經(jīng)網(wǎng)絡(luò)優(yōu)化方法與動力系統(tǒng)的基本理論，綜述了常見的神經(jīng)

2、網(wǎng)絡(luò)優(yōu)化模型。 2．提出了求解凸二次規(guī)劃問題的神經(jīng)網(wǎng)絡(luò)方法。凸二次規(guī)劃問題的目標函數(shù)一般可表示為，f(x)=1/2x<'T>Qx+q<'T>x，其中Q為正定矩陣或半正定矩陣。利用鞍點定理，將優(yōu)化問題的求解轉(zhuǎn)化為一組投影方程求解，建立了投影神經(jīng)網(wǎng)絡(luò)，研究了它的動態(tài)特性，嚴格證明了網(wǎng)絡(luò)的穩(wěn)定性與收斂性。 3．提出了求解具有線性等式約束的非線性凸優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)方法．基于線性等式約束特點，構(gòu)造延時投影神經(jīng)網(wǎng)絡(luò)，通過選擇合適的

3、延時，嚴格證明了所提出的網(wǎng)絡(luò)是全局指數(shù)穩(wěn)定的。當目標函數(shù)嚴格凸時，證明了該網(wǎng)絡(luò)全局指數(shù)收斂到優(yōu)化問題的唯一最優(yōu)解。這個方法的特點是將等式約束設(shè)計在投影映射上，簡化了網(wǎng)絡(luò)的結(jié)構(gòu)。 4．提出了求解具有非線性不等式約束的凸優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)方法．當決策變量無上下界約束時，利用K-K-T條件與Fischer-Burmeister函數(shù)，將優(yōu)化問題的求解轉(zhuǎn)化為方程組求解．通過構(gòu)造合適的能量函數(shù)，利用梯度方法建立神經(jīng)網(wǎng)絡(luò)。這個網(wǎng)絡(luò)被證明是Ly

4、apunov穩(wěn)定的，系統(tǒng)的解軌線能夠收斂到優(yōu)化問題的一個最優(yōu)解。當決策變量具有上下界約束時，建立了兩個神經(jīng)網(wǎng)絡(luò)模型。第一個模型為投影神經(jīng)網(wǎng)絡(luò)，它利用鞍點定理，將優(yōu)化問題求解轉(zhuǎn)化為變分不等式求解。根據(jù)變分不等式與投影方程之間的關(guān)系，建立投影神經(jīng)網(wǎng)絡(luò)模型。這個網(wǎng)絡(luò)被嚴格證明足全局穩(wěn)定的與收斂的。第二個模型為反饋神經(jīng)網(wǎng)絡(luò)，它將優(yōu)化問題轉(zhuǎn)化為一系列具有變量上下界簡單約束的凸優(yōu)化問題，建立一系列投影神經(jīng)網(wǎng)絡(luò)，嚴格證明了這些投影神經(jīng)網(wǎng)絡(luò)的平衡點序列

5、收斂到原優(yōu)化問題的最優(yōu)解。這個網(wǎng)絡(luò)的特點是沒有罰因子，沒有Lagrange乘子，沒有對偶變量，在結(jié)構(gòu)上非常簡單，易于硬件實現(xiàn)。 5．提出了求解一類非凸優(yōu)化問題的隨機神經(jīng)網(wǎng)絡(luò)優(yōu)化與兩階段神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。在目標函數(shù)具有局部凸性的條件下，建立了求局部最優(yōu)解的投影神經(jīng)網(wǎng)絡(luò)。為獲取全局最優(yōu)解，在網(wǎng)絡(luò)上加入遞減的白噪聲，建立隨機神經(jīng)網(wǎng)絡(luò)模型。由于噪聲起著擾動的作用，有利于避免網(wǎng)絡(luò)陷入局部最優(yōu)解，增大網(wǎng)絡(luò)收斂于全局最優(yōu)解的概率。兩階段神經(jīng)網(wǎng)