基于敏感性的Madaline網(wǎng)絡(luò)結(jié)構(gòu)裁剪.pdf

1、在神經(jīng)網(wǎng)絡(luò)研究中，網(wǎng)絡(luò)結(jié)構(gòu)如何設(shè)計(jì)是一個(gè)至關(guān)重要的問題。對于給定的問題，為了找到一個(gè)適合的網(wǎng)絡(luò)結(jié)構(gòu)，目前一種常用的方法是把已訓(xùn)練好的大結(jié)構(gòu)網(wǎng)絡(luò)裁剪成小結(jié)構(gòu)網(wǎng)絡(luò)，同時(shí)要保留網(wǎng)絡(luò)必需具備的性能。本文給出了基于神經(jīng)元敏感性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)裁剪方法，即從Madaline網(wǎng)絡(luò)隱層上裁去那些最不重要的神經(jīng)元Adaline，從而使得裁剪造成的性能損失盡可能少，并設(shè)法補(bǔ)償損失。這個(gè)方法的新穎之處在于它建立了一個(gè)度量網(wǎng)絡(luò)中神經(jīng)元重要性的尺度，通過對網(wǎng)絡(luò)中每

2、個(gè)神經(jīng)元的重要性進(jìn)行度量，可以找出網(wǎng)絡(luò)中重要性最小的神經(jīng)元，然后嘗試將其裁去。本文的Adaline重要性尺度是建立在Adaline敏感性尺度基礎(chǔ)之上的。一個(gè)Adaline的敏感性是指對于它的所有可能輸入，因輸入擾動(dòng)而導(dǎo)致它的輸出出錯(cuò)的概率：而一個(gè)Adaline的重要性則定義為它的敏感性值乘以它與后一層上所有Adaline的連接權(quán)絕對值之和所得的乘積?；诿舾行杂?jì)算，本文給出了一個(gè)Madaline網(wǎng)絡(luò)結(jié)構(gòu)的裁剪算法，它從一個(gè)給定的Mada