ELM網(wǎng)絡(luò)集成研究.pdf

1、極限學(xué)習(xí)器(Extremelearningmachine,ELM)是訓(xùn)練單隱含層前饋神經(jīng)網(wǎng)絡(luò)有效學(xué)習(xí)算法。ELM克服了基于梯度的學(xué)習(xí)算法的很多不足，如局部極小、不合適的學(xué)習(xí)速率、學(xué)習(xí)速度慢等。ELM隨機(jī)確定輸入層權(quán)值和隱含層偏置，通過(guò)分析的方法確定輸出層的權(quán)值，具有學(xué)習(xí)速度快、泛化能力強(qiáng)等特點(diǎn)，但ELM的穩(wěn)定性較差，且容易產(chǎn)生過(guò)擬合，特別是對(duì)于規(guī)模較大的數(shù)據(jù)集。針對(duì)上述問(wèn)題，本文提出了（1）基于樣本熵的動(dòng)態(tài)ELM集成方法，對(duì)于給定的測(cè)試

2、樣例，該方法利用樣本熵動(dòng)態(tài)確定用于集成的ELM基本分類器；（2）基于模糊積分的ELM融合方法，該方法分為三個(gè)階段。首先利用bootstrap技術(shù)從原數(shù)據(jù)集生成若干子集，然后用每一個(gè)子集訓(xùn)練一個(gè)概率單隱含層前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)用ELM進(jìn)行訓(xùn)練，最后用模糊積分融合得到的多個(gè)概率單隱含層前饋神經(jīng)網(wǎng)絡(luò)。
　　為了驗(yàn)證本文提出的方法的有效性，在UCI數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了統(tǒng)計(jì)分析，實(shí)驗(yàn)結(jié)果及對(duì)實(shí)驗(yàn)結(jié)果的統(tǒng)計(jì)分析顯示本文提出的