極限學(xué)習(xí)機(jī)結(jié)構(gòu)優(yōu)化及其應(yīng)用研究.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)BP梯度學(xué)習(xí)算法存在著訓(xùn)練時(shí)間長、過度擬合訓(xùn)練樣本和易陷入局部最優(yōu)等問題。極限學(xué)習(xí)機(jī)具有學(xué)習(xí)時(shí)間短、算法簡單容易實(shí)現(xiàn)、良好的泛化性能和能避免陷入局部最優(yōu)等優(yōu)點(diǎn),已經(jīng)成功應(yīng)用于函數(shù)擬合和分類等應(yīng)用領(lǐng)域。但極限學(xué)習(xí)機(jī)存在著所獲得的網(wǎng)絡(luò)結(jié)構(gòu)比BP學(xué)習(xí)算法獲得的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,對(duì)未知數(shù)據(jù)的響應(yīng)時(shí)間長的問題。該文對(duì)極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問題進(jìn)行了研究,完成的研究工作如下:
　　1.通過研究誤差最小化極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)冗余問題,

2、認(rèn)為原因在于其輸入權(quán)重和閾值采用隨機(jī)取值方式,不能保證上述取值的有效性。故將遞歸最小二乘法引入到算法中,用于計(jì)算每個(gè)結(jié)點(diǎn)的輸入權(quán)重和閾值,從而得到了基于遞歸最小二乘法的增長型極限學(xué)習(xí)機(jī)(RLSI_ELM)。測試結(jié)果表明,在相同的分類準(zhǔn)確度要求下,RLSI_ELM與EI_ELM及EM_ELM相比,能夠在短時(shí)間內(nèi)獲得更加簡化的網(wǎng)絡(luò)結(jié)構(gòu)。
　　2.考慮到量子粒子群優(yōu)化算法的較強(qiáng)尋優(yōu)能力,將量子粒子群優(yōu)化算法應(yīng)用于極限學(xué)習(xí)機(jī),用以確定網(wǎng)絡(luò)

3、結(jié)點(diǎn)的輸入權(quán)重和閾值,替代原本的隨機(jī)取值方式,提出了基于量子粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)(QPSO_ELM)。實(shí)驗(yàn)結(jié)果表明,該方法可以獲得更加有效的輸入權(quán)重和閾值,簡化網(wǎng)絡(luò)結(jié)構(gòu)。
　　3.將QPSO_ELM方法應(yīng)用于手寫體數(shù)字識(shí)別中,構(gòu)造了一個(gè)數(shù)字識(shí)別分類器。利用美國郵政手寫數(shù)字?jǐn)?shù)據(jù)集對(duì)數(shù)字識(shí)別分類器進(jìn)行了識(shí)別測試,實(shí)驗(yàn)結(jié)果表明,相較于ELM和BP神經(jīng)網(wǎng)絡(luò),QPSO_ELM可以達(dá)到更好的分類效果,而且QPSO_ELM的對(duì)手寫體數(shù)字識(shí)