多層感知器神經(jīng)網(wǎng)絡(luò)的局部泛化誤差模型.pdf

1、多層感知器神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、函數(shù)逼近、風(fēng)險(xiǎn)預(yù)測(cè)和控制等領(lǐng)域中有廣泛的應(yīng)用，泛化能力是評(píng)價(jià)多層感知器神經(jīng)網(wǎng)絡(luò)訓(xùn)練成功的重要標(biāo)準(zhǔn)。多層感知器神經(jīng)網(wǎng)絡(luò)從訓(xùn)練樣本提取“知識(shí)”，實(shí)現(xiàn)從輸入空間到輸出空間的映射，最后用訓(xùn)練過的多層感知器神經(jīng)網(wǎng)絡(luò)分類器對(duì)新到來的未知樣本進(jìn)行有效的分類。
　　現(xiàn)有的評(píng)價(jià)多層感知器神經(jīng)網(wǎng)絡(luò)泛化能力的方法主要有兩類：解析模型和交叉驗(yàn)證方法。解析模型提供了一種數(shù)學(xué)的方法來評(píng)價(jià)多層感知器神經(jīng)網(wǎng)絡(luò)的泛化能力，而交叉驗(yàn)證方

2、法是一種實(shí)驗(yàn)性方法來評(píng)價(jià)多層感知器神經(jīng)網(wǎng)絡(luò)泛化能力。這些方法有以下缺點(diǎn)：不能區(qū)分有相同隱藏層神經(jīng)元數(shù)而權(quán)值不同的網(wǎng)絡(luò)的泛化能力、忽略了未知樣本和訓(xùn)練樣本之間存在多大差異、對(duì)大的數(shù)據(jù)集時(shí)間復(fù)雜度比較高。在實(shí)際應(yīng)用中，對(duì)于一個(gè)特定的分類問題，期望訓(xùn)練的多層感知神經(jīng)網(wǎng)絡(luò)分類器能夠正確識(shí)別與訓(xùn)練樣本相差很大的未知樣本是不合理的。這是本文研究多層感知器神經(jīng)網(wǎng)絡(luò)局部泛化誤差模型的動(dòng)機(jī)所在。
　　局部泛化誤差模型利用與訓(xùn)練樣本“相似”的未知樣本

3、來確定訓(xùn)練網(wǎng)絡(luò)泛化誤差上界。未知樣本與訓(xùn)練樣本是“相似”的，如果這個(gè)未知樣本特征值與訓(xùn)練樣本的特征值的差異小于給定的實(shí)數(shù)值Q。局部泛化誤差模型包括訓(xùn)練集誤差，隨機(jī)敏感度測(cè)量和給定訓(xùn)練集常數(shù)。在局部泛化誤差模型中，訓(xùn)練誤差和隨機(jī)敏感度測(cè)量之間達(dá)到最好的折中時(shí)有最小化的局部泛化誤差。
　　在本文中，用局部泛化誤差模型對(duì)多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)選擇。即對(duì)于給定的分類問題，選擇的隱藏層神經(jīng)元數(shù)的多層感知器神經(jīng)網(wǎng)絡(luò)具有最好的泛化能力。用1