ELM網(wǎng)絡(luò)結(jié)構(gòu)選擇研究.pdf

1、極端學(xué)習(xí)機(jī)（ELM:ExtremeLearningMachine）是訓(xùn)練單隱含層前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，它不用迭代調(diào)整權(quán)值，隱含層的輸入權(quán)值和偏置都是隨機(jī)生成的，輸出權(quán)值是通過分析的方法確定的。ELM具有學(xué)習(xí)速度快、泛化能力強(qiáng)等特點(diǎn)，已成功地應(yīng)用于生物信息處理、語(yǔ)音識(shí)別、人臉識(shí)別等各個(gè)領(lǐng)域中。但是在應(yīng)用中如何選擇一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)難點(diǎn)，也是神經(jīng)網(wǎng)絡(luò)研究的熱點(diǎn)。
　　本文研究了ELM網(wǎng)絡(luò)結(jié)構(gòu)選擇問題。本文主要貢獻(xiàn)包括：(1)

2、將局部泛化誤差模型推廣到用ELM訓(xùn)練的單隱含層前饋神經(jīng)網(wǎng)絡(luò)，給出了計(jì)算模型，提出了基于該模型的ELM網(wǎng)絡(luò)結(jié)構(gòu)選擇方法。（2）提出了基于相容依賴度的ELM網(wǎng)絡(luò)結(jié)構(gòu)剪枝方法，該方法用相容依賴度度量結(jié)點(diǎn)的重要性，從一個(gè)規(guī)模較大的網(wǎng)絡(luò)開始，逐個(gè)去掉依賴度比較小的隱含層結(jié)點(diǎn)，直到滿足預(yù)定義的停止條件。（3）提出了基于結(jié)點(diǎn)敏感度的ELM網(wǎng)絡(luò)結(jié)構(gòu)剪枝算法，該方法的思想和第二種方法類似，只是用敏感度度量隱含層結(jié)點(diǎn)的重要性。
　　本文做了大量實(shí)驗(yàn)對(duì)