神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究.pdf

1、隨著神經(jīng)網(wǎng)絡(luò)學(xué)科又一次研究高潮的到來，神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用與科學(xué)計(jì)算，模式分類，模式提取，金融行業(yè)，國(guó)防工業(yè)，航空行業(yè)，智能控制等等。神經(jīng)網(wǎng)絡(luò)不但具備逼近任何非線性函數(shù)能力，而且網(wǎng)絡(luò)的泛化能力很強(qiáng)，從而達(dá)到一種函數(shù)映射關(guān)系。正因?yàn)樯窠?jīng)網(wǎng)絡(luò)的以上優(yōu)點(diǎn)，才應(yīng)用十分廣泛。 神經(jīng)網(wǎng)絡(luò)為建立模型提供一種很好的方法。尤其為對(duì)于復(fù)雜的，不確定性，信息量很少系統(tǒng)，利用神經(jīng)網(wǎng)絡(luò)能建立輸入與輸出的對(duì)應(yīng)關(guān)系，滿足相應(yīng)功能，使系統(tǒng)設(shè)計(jì)復(fù)雜度大大減小。

2、 學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)中十分重要的內(nèi)容，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是一個(gè)優(yōu)化問題，目前利用的技術(shù)是最優(yōu)化理論中技術(shù)。梯度下降法和改進(jìn)的梯度下降法，是主要的訓(xùn)練算法。這種算法存在訓(xùn)練時(shí)間長(zhǎng)，權(quán)值初始化問題，不具備全局尋優(yōu)能力，樣本的遺忘等等。這些問題主要是學(xué)習(xí)算法所導(dǎo)致的。如果能找到一個(gè)合適訓(xùn)練算法，以上問題都能迎刃而解。根據(jù)“沒有免費(fèi)午餐定理”，則需要通過增加訓(xùn)練時(shí)間復(fù)雜度和空間復(fù)雜度來，達(dá)到要求。 對(duì)于復(fù)雜樣本和復(fù)雜系統(tǒng)進(jìn)行訓(xùn)

3、練，通常需要大量的時(shí)間，隨著網(wǎng)絡(luò)復(fù)雜，所需要的訓(xùn)練時(shí)間急劇上升，而且訓(xùn)練效果遠(yuǎn)遠(yuǎn)達(dá)到要求。因?yàn)殡S著網(wǎng)絡(luò)增加所需要計(jì)算的向量梯度和Hessian矩陣需要大量時(shí)間，于是本文提出將神經(jīng)網(wǎng)絡(luò)模塊化思想。通過數(shù)學(xué)公式達(dá)到函數(shù)的映射，本文對(duì)傅立葉神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，并提出了一種更好的學(xué)習(xí)算法。 本文通過對(duì)粒子群算法進(jìn)行研究，提出了將粒子群算法和梯度下降法結(jié)合起來，即利用粒子群算法全局尋優(yōu)思想，NW法初始化網(wǎng)絡(luò)的權(quán)值和速度，利用正則化改變目標(biāo)函