BP神經(jīng)網(wǎng)絡(luò)分類器優(yōu)化技術(shù)研究.pdf

1、由于其強(qiáng)大的學(xué)習(xí)能力，人工神經(jīng)網(wǎng)絡(luò)特別是BP神經(jīng)網(wǎng)絡(luò)已經(jīng)成為研究模式識別如人臉辨識、字符識別、車牌識別(LPR)、語音識別和信號處理等分類問題的重要工具。研究證明，神經(jīng)網(wǎng)絡(luò)的性能主要取決于三個因素：首先是用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的樣本的特征選擇方法，其次是神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法，最后就是神經(jīng)網(wǎng)絡(luò)隱層節(jié)點的選擇方法。采用合適的特征選擇模型，尋找最佳的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法和隱層節(jié)點的選擇方法，對改善BP神經(jīng)網(wǎng)絡(luò)分類器的分類識別率具有重要的理論和實用價值。<

2、br>　　高維特征向量會給神經(jīng)網(wǎng)絡(luò)的訓(xùn)練增加巨大的計算開銷和“過訓(xùn)練”的危險，因此有必要通過特征選擇的方法刪除無關(guān)特征，選擇最小的特征子集以保持或改善神經(jīng)網(wǎng)絡(luò)分類器的泛化性能。另一方面，以神經(jīng)網(wǎng)絡(luò)分類器的誤差率作為評價準(zhǔn)則的特征選擇方法能比其它方法獲得更好的性能，因此它也能更好地處理那些相關(guān)特征較多的數(shù)據(jù)集。
　　提出了一種混合特征選擇模型用于從潛在的相關(guān)特征中選擇那些最重要的特征。該模型包括兩部分：filter部分與wrappe

3、r部分。在filter部分，四種不同的Filter方法分別對候選特征進(jìn)行獨立排序，在融合后進(jìn)一步生成綜合特征排序，然后根據(jù)綜合排序產(chǎn)生遺傳算法(GA)的初始種群。在wrapper部分，GA算法根據(jù)神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率評價特征子集，以便搜索到最優(yōu)的特征子集。實驗數(shù)據(jù)表明，模型不僅能有效地減少特征子集的大小，而且還進(jìn)一步提高分類識別的準(zhǔn)確率和效果。
　　為了克服BP算法的缺點，提出了一種集成遺傳算法和禁忌搜索算法(TS)兩者優(yōu)點的GT

4、A優(yōu)化算法。為了在一個大的解空間搜索到一個理想的、有利于找到最優(yōu)解的初始解，訓(xùn)練過程分為兩個階段：首先通過GA算法找到一個理想的初始解，然后通過TS算法選擇最優(yōu)解。不同于其他主要的算法，在第一階段，TS算法是從被挑選的解開始搜索進(jìn)程，而不是從GA產(chǎn)生的新種群中的隨機(jī)解開始。而當(dāng)前解則是候選鄰域解集中未被禁忌的最優(yōu)解。為了避免重復(fù)搜索已訪問過的區(qū)域，通過加入新的最優(yōu)解替換較早進(jìn)入禁忌表的解來更新禁忌列表。當(dāng)滿足禁忌條件時，則以當(dāng)前解為新的

5、搜索中心，將搜索半徑減半并重新進(jìn)行搜索。
　　經(jīng)驗表明，神經(jīng)網(wǎng)絡(luò)的性能主要取決于網(wǎng)絡(luò)的結(jié)構(gòu)，特別是隱層節(jié)點數(shù)。網(wǎng)絡(luò)越小越好。然而規(guī)模小的網(wǎng)絡(luò)比規(guī)模大的誤差曲線更復(fù)雜，包含更多的局部極小點。反之，規(guī)模大的網(wǎng)絡(luò)能獲得理想的精度，但過于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)卻可能帶來過訓(xùn)練問題，無法取得好的泛化性能。因此，選擇合適的隱層節(jié)點數(shù)是一門專門的學(xué)問。為了快速找到最合適的神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)，一種新的“三點式搜索”算法被提出。
　　如果分類誤差為一

6、個啟發(fā)函數(shù)，那么隱層節(jié)點數(shù)與分類誤差的關(guān)系就是一個拋物線函數(shù)，用E(H)表示?！叭c式搜索”算法首先根據(jù)6個經(jīng)驗公式計算出隱層節(jié)點數(shù)來確定一個搜索區(qū)間，并在該區(qū)間中選取三個點H_min, H_mid和H_max，然后根據(jù)它們之間的誤差大小關(guān)系分別調(diào)整這三個點的值，逐步縮小搜索區(qū)域，最后找到一個最優(yōu)的隱層節(jié)點數(shù)。
　　為了動態(tài)調(diào)整神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點，提出了一種結(jié)合遺傳算法和強(qiáng)化學(xué)習(xí)Agent優(yōu)點的混合學(xué)習(xí)模型。在該模型中，神經(jīng)網(wǎng)絡(luò)A

7、gent（NN Agent）和強(qiáng)化學(xué)習(xí)Agent（RL Agent）彼此合作完成自動調(diào)整神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的任務(wù)。NN agent負(fù)責(zé)增加或裁減隱層節(jié)點以確定最優(yōu)的節(jié)點數(shù)，同時對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化調(diào)整。RL agent接收來自NN agent的獎勵，然后根據(jù)在過去的經(jīng)驗和累計獎勵值的基礎(chǔ)上能產(chǎn)生最大獎勵的優(yōu)化策略調(diào)整隱層節(jié)點的影響因子，而不必像AMGA算法那樣需要根據(jù)很難獲取的經(jīng)驗公式去計算合并節(jié)點的影響因子。測試結(jié)果表明，算法不僅能減少