復數(shù)值神經(jīng)網(wǎng)絡訓練算法的研究與應用.pdf

1、本文主要研究了三類不同的復數(shù)值神經(jīng)網(wǎng)絡的訓練算法。這三類復數(shù)值神經(jīng)網(wǎng)絡分別為前向網(wǎng)絡中的多層感知器網(wǎng)絡和徑向基網(wǎng)絡以及遞歸神經(jīng)網(wǎng)絡。經(jīng)過深入研究，我們分別對這三類復數(shù)值神經(jīng)網(wǎng)絡提出了有效的訓練算法，并用于解決模式識別中的一些實際問題。對于復數(shù)值前向神經(jīng)網(wǎng)絡，復數(shù)值反向傳播算法（Backpropagation algorithm, BP）是一種常用的訓練算法。但是，當采用激勵函數(shù)是分裂式S型函數(shù)時，存在著飽和區(qū)域。飽和區(qū)域的存在嚴重影響了

2、BP算法的訓練速度，甚至導致復數(shù)值訓練失敗。針對這一問題，我們提出了基于可調整增益參數(shù)的復數(shù)值反向傳播算法。在訓練的過程中，根據(jù)輸出誤差調整增益參數(shù)，使得激勵函數(shù)能夠自動調整飽和區(qū)域，從而避免飽和區(qū)域影響訓練速度。隱層神經(jīng)元中心的選擇是復數(shù)值徑向基函數(shù)（Radial Basis Function,RBF）神經(jīng)網(wǎng)絡訓練算法中一個非常重要的問題。最近提出的最大寬度算法是根據(jù)某一類樣本到其他類樣本的距離確定中心。因為這種算法在選取中心時忽略了

3、同一類樣本相互之間的距離關系，存在著一些不足，從而影響到了算法的性能。針對這一不足，我們提出了一個新的隱層神經(jīng)元中心的選取算法。在該算法中，我們不僅考慮不同類樣本之間的距離關系，而且將同一類樣本之間的相互距離也考慮在內。計算這兩種距離的比率，將其作為選擇隱層神經(jīng)元中心的依據(jù)。
　　本文研究了復數(shù)值遞歸神經(jīng)網(wǎng)絡的訓練算法。據(jù)我們所知，目前還沒有將復數(shù)值 Levenberg-Marquardt（LM）算法運用于復數(shù)值遞歸神經(jīng)網(wǎng)絡的訓練

4、中。因此，我們提出使用復數(shù)值LM算法對復數(shù)值Jordan型遞歸神經(jīng)網(wǎng)絡進行訓練。Jordan型網(wǎng)絡以前向網(wǎng)絡結構為主，帶有反饋連接。這種結構既保留了前一次網(wǎng)絡的輸出狀態(tài)，又不會使訓練過于復雜。復數(shù)值LM算法利用自適應調整阻尼因子，加快訓練的收斂速度。為了驗證本論文提出的復數(shù)值神經(jīng)網(wǎng)絡訓練算法的有效性，我們分別將這些算法用于解決手勢識別問題以及 UCI中一些公共數(shù)據(jù)集的分類問題。實驗結果表明，本論文提出的復數(shù)值神經(jīng)網(wǎng)絡訓練算法能取得更高的