前饋式神經網絡快速訓練算法研究及在掌紋識別中的應用.pdf

1、前饋式神經網絡是最具有代表性、應用最廣的神經網絡模型。誤差反向傳播算法(Backpropagation，BP)是其經典的訓練算法。但由于BP算法是基于固定學習率的梯度算法，所以不可避免地面臨著收斂速度緩慢等缺陷。為了加快前饋式神經網絡的收斂速度，出現(xiàn)了很多改進算法。它們都在一定程度上提高了網絡的收斂速度。然而它們大都存在著諸如仍以梯度為基礎，需要大量的存儲空間，泛化能力不夠等不足。 本文在研究和分析已有的改進算法基礎上，首先基于

2、優(yōu)化理論中的Hooke-Jeeves模式搜索方法提出了一種新的快速訓練算法(Hooke-JeevesPatternSearch，簡稱HJPS算法)。該方法由探測搜索和模式移動兩個步驟組成，二者交替進行，使網絡參數(shù)得到優(yōu)化。由于神經網絡的結構特點，即調整某個參數(shù)時，只影響與其相關的變量，所以可以只針對誤差函數(shù)的變化部分計算。對于三層網絡的四類參數(shù)，分別給出其簡化的誤差函數(shù)表達式，從而將原問題轉化成一維搜索問題。使得訓練過程被簡化，從而保證

3、快速收斂。該算法最大的優(yōu)點是無需計算誤差函數(shù)的梯度。并且一旦網絡結構被確定，則不再需要人為地調節(jié)任何參數(shù)。 逐層算法(Layer-by-Layer,簡稱LBL算法)是一種非常有效的神經網絡訓練算法，本文將其與HJPS算法的思想結合，提出一種逐參數(shù)算法(Parameter-by-Parameter，簡稱PBP算法)。該算法在訓練過程中考慮輸出層和隱層的輸入誤差，在每一次迭代中，通過最小二乘法對權值和閾值依次直接求解，從而大大地提高

4、了網絡的收斂速度。在PBP算法中，對隱層期望輸出，需要求解一個線性方程組，當網絡的輸出層與隱層之間的權向量線性相關時，方程組系數(shù)行列式為0，此時就會像LBL算法一樣出現(xiàn)“stalling”問題。本文提出應用Moore-Penrose逆方法來解決這一問題。 為了避免在PBP算法中出現(xiàn)“stalling”問題，以及在對求出的隱層期望輸出中超出sigmoid函數(shù)范圍的部分進行截斷時產生的截斷誤差，本文提出用目標規(guī)劃的方法來求解隱層的期

5、望輸出。首先將求解隱層期望輸出的問題轉化成一個多目標線性規(guī)劃問題，建立其目標規(guī)劃模型，然后通過求解該目標規(guī)劃模型來得到問題的解。通過這種方法，無論網絡輸出層與隱層之間的權向量是否線性相關，都可以根據目標規(guī)劃模型給出一組滿意解。而且，由于在模型中為相應的約束條件賦予較高的優(yōu)先級，可以有效地避免截斷誤差-Ⅰ-的產生?；谀繕艘?guī)劃方法提出的訓練算法(Parameter-by-ParameterbasedonGoalProgramming，簡稱

6、PBPGP算法)，在兩個實際應用問題中取得了令人滿意的效果。 為了考察我們所提出的算法的實用性，我們將其應用到掌紋識別的研究中。 掌紋識別作為一種新興的人體生物識別技術，近年來已受到越來越多的關注。本文提出基于平移不變Zernike矩(TranslationInvariantZernikeMoments，TIZMs)與模塊化神經網絡(ModularNeuralNetwork，MNN)的掌紋識別方法TIZMs&MNN。Ze

7、rnike矩特征由于具有良好的旋轉不變性，在圖像處理和模式識別中已經得到了廣泛的應用，本文采用平移不變的Zernike矩作為掌紋的特征，以此彌補定位方法的不足。由于掌紋識別是一個大規(guī)模的多分類系統(tǒng)，單個的前饋式神經網絡很難勝任。我們采用模塊化神經網絡的思想，將一個多分類問題轉化為多個簡單的二類問題。每個二類問題由一個三層前饋式神經網絡來解決，并采用本文提出的HJPS和PBP算法的融合HJ-PBP算法來訓練。另外，在辨識過程中采用“跳躍式