基于粒子群優(yōu)化的構(gòu)造性極端學(xué)習(xí)機的研究.pdf

1、極端學(xué)習(xí)機(ELM)作為一種廣義的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法因其極快的收斂速度和良好的泛化性能而在分類和回歸問題中得到廣泛的應(yīng)用。然而在傳統(tǒng)的極端學(xué)習(xí)機算法中，隱含層節(jié)點個數(shù)的確定沒有有效的方法，且隱含層節(jié)點對應(yīng)的輸入層權(quán)值和閾值是隨機產(chǎn)生的，從而導(dǎo)致極端學(xué)習(xí)機性能不穩(wěn)定。因此，如何設(shè)計極端學(xué)習(xí)機中網(wǎng)絡(luò)結(jié)構(gòu)是提高極端學(xué)習(xí)機性能的關(guān)鍵問題之一。為了獲得一個結(jié)構(gòu)緊湊、泛化性能高的單隱層前饋神經(jīng)網(wǎng)絡(luò)，本文提出運用粒子群優(yōu)化算法來自適應(yīng)構(gòu)造極端

2、學(xué)習(xí)機。該類極端學(xué)習(xí)機利用粒子群優(yōu)化算法對極端學(xué)習(xí)機中隱含層節(jié)點對應(yīng)的輸入層權(quán)值和閾值進行優(yōu)選，達到自適應(yīng)確定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。本文的主要工作如下:
　　1)針對自適應(yīng)增長極端學(xué)習(xí)機(AG-ELM)中，輸入權(quán)值、閡值、輸出權(quán)值都是隨機產(chǎn)生會影響算法的收斂準確性，提出一種改進的基于粒子群優(yōu)化的隱含層節(jié)點自適應(yīng)增長極端學(xué)習(xí)機(PSO-AG-ELM)。用粒子群優(yōu)化算法來優(yōu)選AG-ELM中隨機產(chǎn)生的權(quán)值。算法中，粒子群中的每一個粒子代表一個網(wǎng)

3、絡(luò)中的所有參數(shù)，且粒子的維數(shù)隨著訓(xùn)練過程而增長。通過設(shè)定期望準確率來確定網(wǎng)絡(luò)的隱含層節(jié)點數(shù)。PSO-AG-ELM算法相比AG-ELM算法能夠達到更高的收斂精度。
　　2)針對經(jīng)典的構(gòu)造性極端學(xué)習(xí)機過分依賴于網(wǎng)絡(luò)的收斂精度而忽視了系統(tǒng)的穩(wěn)定性，提出一種基于粒子群優(yōu)化的誤差最小化極端學(xué)習(xí)機(PSO-EM-ELM)。在PSO-EM-ELM中，經(jīng)過粒子群優(yōu)化過的隱含層節(jié)點一個一個的加入到網(wǎng)絡(luò)中，算法除了考慮收斂精度，相應(yīng)的隱含層輸出矩陣的