基于Lagrange的神經(jīng)網(wǎng)絡(luò)解決非光滑非凸優(yōu)化問題的研究.pdf

1、許多工程應(yīng)用諸如信號處理，模式識別，最優(yōu)控制等都可以抽象為優(yōu)化問題，而且其中大部分為非線性優(yōu)化問題。由于傳統(tǒng)的拉格朗日神經(jīng)網(wǎng)絡(luò)模型并不能解決非凸優(yōu)化問題，因此針對目標(biāo)函數(shù)非光滑非凸的這一類非線性優(yōu)化問題，通過改進傳統(tǒng)拉格朗日函數(shù)，提出了兩種不同的神經(jīng)網(wǎng)絡(luò)模型，并對這兩種模型進行了理論分析和實例驗證。
　　首先借鑒罰函數(shù)的思想，基于拉格朗日乘子理論，提出了一種新型的拉格朗日神經(jīng)網(wǎng)絡(luò)模型。因為罰函數(shù)方法罰因子趨于無窮大時容易導(dǎo)致病態(tài)問

2、題，且其收斂速度較慢，該模型針對此問題，設(shè)定固定的罰因子，且在傳統(tǒng)拉格朗日函數(shù)的基礎(chǔ)上增加懲罰項，既可以克服病態(tài)問題，又能使網(wǎng)絡(luò)軌跡收斂加快。該模型能夠找到優(yōu)化問題的解，并且收斂軌跡最終趨于關(guān)鍵點集。然后實例驗證此網(wǎng)絡(luò)模型能夠有效的解決此類優(yōu)化問題。
　　其次，通過引入一個帶參數(shù)的等式約束相關(guān)項，基于拉格朗日乘子理論，構(gòu)造了增廣拉格朗日神經(jīng)網(wǎng)絡(luò)模型。該相關(guān)項并不影響求解原始優(yōu)化問題的優(yōu)化解，且其參數(shù)具有凸化目標(biāo)函數(shù)和加快收斂速度的