極限學(xué)習(xí)機隱含層節(jié)點選擇算法研究.pdf

1、本文主要研究一種新的機器學(xué)習(xí)方法，即極限學(xué)習(xí)機(ELM)。作為一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的學(xué)習(xí)算法，ELM具有快速的學(xué)習(xí)速度和很好的泛化能力。隱含層節(jié)點在ELM算法中起著重要的作用，確定隱含層節(jié)點的方法有兩種：一是剪枝法；;二是增量學(xué)習(xí)方法。介紹了兩種剪枝方法，最優(yōu)剪枝ELM(OP-ELM)和Tikhonov正則OP-ELM(TROP-ELM)。主要工作是ELM的增量學(xué)習(xí)方法，增量學(xué)習(xí)即首先初始化一個較小的網(wǎng)絡(luò)，然后向網(wǎng)絡(luò)

2、中增加新的節(jié)點，直到生成一個我們滿意的網(wǎng)絡(luò)。當(dāng)新的隱含層節(jié)點加入到已經(jīng)存在的網(wǎng)絡(luò)中時，重新訓(xùn)練網(wǎng)絡(luò)往往比較費時，誤差最小化極限學(xué)習(xí)機(EM-ELM)是一種增量的計算輸出權(quán)值的快速方法。然而，由于過擬合等原因，EM-ELM不能總是得到好的泛化能力。在此，根據(jù)結(jié)構(gòu)風(fēng)險最小化準則，我們提出了一種基于正則化的EM-ELM改進方法，即增量正則化極限學(xué)習(xí)機(IR-ELM)。當(dāng)我們逐一的向網(wǎng)絡(luò)中增加新的隱含層節(jié)點時，IR-ELM可以快速的更新輸出權(quán)值