基于進化計算的前向神經(jīng)網(wǎng)絡學習算法研究.pdf

1、對復雜系統(tǒng)進行仿真及建模研究，一直是系統(tǒng)仿真領域的研究難點和研究熱點。由于系統(tǒng)規(guī)模、環(huán)境、信息以及任務日趨復雜，系統(tǒng)包含嚴重的非線性、不確定性，不確知性和不能預測的突變性等，應用傳統(tǒng)機理的一些建模方法，已幾乎無法建立其精確的數(shù)學模型。
　　人工神經(jīng)網(wǎng)絡通過大量互連神經(jīng)元之間連接權值的分布存儲來表示網(wǎng)絡的解題知識，具有并行處理、自學習和能以任意精度逼近任意非線性函數(shù)等特性。神經(jīng)網(wǎng)絡具有的這些優(yōu)點使其適宜于復雜系統(tǒng)建模中；但神經(jīng)網(wǎng)絡在

2、應用中還存在的一些問題，譬如網(wǎng)絡學習局部極小，收斂速度緩慢，網(wǎng)絡結(jié)構設計復雜及泛化性能弱等等，神經(jīng)網(wǎng)絡的這些缺陷阻礙了它在其它領域中應用。神經(jīng)網(wǎng)絡學習從本質(zhì)上說是網(wǎng)絡結(jié)構與權值的優(yōu)化過程，神經(jīng)網(wǎng)絡這些局限性都不可避免地會牽涉到網(wǎng)絡學習中的優(yōu)化問題，采用傳統(tǒng)確定性搜索方法已很難有效解決。進化計算是一類模擬生物進化過程與機制求解問題的人工智能技術。與傳統(tǒng)優(yōu)化方法不同，進化計算方法具有智能性和本質(zhì)并行性兩大特點，它不受對象目標函數(shù)連續(xù)可微條件

3、約束，在一些離散、多態(tài)、含噪聲的優(yōu)化問題中更顯示出該方法獨特的優(yōu)勢，進化算法具有的這些優(yōu)點為解決神經(jīng)網(wǎng)絡自身缺陷提供了一條全新可行途徑。
　　本論文在前人工作基礎上，針對前向網(wǎng)絡在復雜系統(tǒng)建模中亟需解決的若干問題，深入研究了采用進化計算方法改善神經(jīng)網(wǎng)絡在系統(tǒng)建模中的學習性能，并相應提出了新的方法和實現(xiàn)策略。
　　首先，在網(wǎng)絡結(jié)構固定情況下，針對傳統(tǒng)BP學習方法對網(wǎng)絡學習易陷于局部極值、學習精度不高等缺陷，提出一種基于梯度粒子

4、群優(yōu)化神經(jīng)網(wǎng)絡權值的學習方法。該方法將BP操作作為一算子嵌入到PSO算法中，采用混合交叉訓練方式，在每一代進化過程中都在精英粒子附近再進行BP搜索，獲得精度更高優(yōu)化解，并引導群體快速進化；該方法還引入”變異“思想，對群體粒子位置不給以界限約束，而用新產(chǎn)生隨機粒子取代飛離搜索區(qū)域粒子，減輕算法在進化后期早熟、收斂停滯的缺陷。實驗結(jié)果表明該學習方法學習精度高，收斂速度快，在性能上優(yōu)于常規(guī)神經(jīng)網(wǎng)絡的學習方法。
　　其次，研究了一種前向網(wǎng)

5、絡結(jié)構與權值并行調(diào)整優(yōu)選方法。針對單一進化算法對復雜優(yōu)化問題存在早熟收斂、優(yōu)化效率低的問題，提出一種粒子群優(yōu)化方法與實數(shù)編碼遺傳算法相結(jié)合的混合改進遺傳算法(HIGAPSO)。該方法采用混沌序列產(chǎn)生初始種群、非線性排序選擇、多個交叉后代競爭擇優(yōu)和變異尺度自適應變異等改進遺傳操作；并通過精英個體保留、粒子群優(yōu)化及改進遺傳算法(IGA)三種策略共同作用產(chǎn)生種群新個體。理論證明HIGAPSO具有概率為1的全局收斂性，實驗結(jié)果也表明該方法顯著提

6、高了算法優(yōu)化性能及其優(yōu)化解的可靠性。在此基礎上，利用HIGAPSO方法并行優(yōu)化前向網(wǎng)絡結(jié)構與權值，提出一種基于混合進化策略的網(wǎng)絡結(jié)構與權值并行調(diào)整優(yōu)選方法，該方法在神經(jīng)網(wǎng)絡每互聯(lián)節(jié)點連接之間還引入開關系數(shù)，由開關系數(shù)控制網(wǎng)絡結(jié)構，并由網(wǎng)絡連接權值參數(shù)決定網(wǎng)絡輸入輸出關系，通過HIGAPSO混合算法搜索空間內(nèi)優(yōu)選一組最佳開關系數(shù)與權值參數(shù)組合。仿真結(jié)果表明該方法設計的網(wǎng)絡學習精度高，結(jié)構更為節(jié)儉。
　　然后，研究了利用粒子群算法對徑

7、向基網(wǎng)絡(RBF)的設計問題，建立徑向基網(wǎng)絡模型關鍵在于確定網(wǎng)絡隱中心向量、基寬度參數(shù)和隱節(jié)點數(shù)。為設計結(jié)構簡單，且具有良好泛化性能徑向基網(wǎng)絡結(jié)構，提出了一種RBF網(wǎng)絡的兩級學習新設計方法。該方法在下級由正則化正交最小二乘法與D-最優(yōu)試驗設計結(jié)合算法自動構建結(jié)構節(jié)儉的RBF網(wǎng)絡模型；在上級通過粒子群優(yōu)化算法優(yōu)選結(jié)合算法中影響網(wǎng)絡泛化性能的三個學習參數(shù)，即基寬度參數(shù)、正則化系數(shù)和D-最優(yōu)代價系數(shù)的最佳參數(shù)組合。仿真實例表明了該方法是一種較