關(guān)于改進(jìn)神經(jīng)網(wǎng)絡(luò)泛化性能的若干算法研究.pdf

1、作為模式識別的有力工具,神經(jīng)網(wǎng)絡(luò)雖然具有強(qiáng)大的非線性逼近能力,但這并不能保證其同時(shí)具備理想的泛化性能.本文從模型和算法兩方面出發(fā),對神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究,旨在提高其泛化性能.具體內(nèi)容如下.
　　1.基于二維前饋神經(jīng)網(wǎng)絡(luò)(2D-FNNs)的梯度下降學(xué)習(xí)算法.由于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)(FNNs)是基于向量輸入的,而許多數(shù)據(jù)是以矩陣的形式呈現(xiàn)的,因此在運(yùn)用FNN之間這些矩陣數(shù)據(jù)必須被分解成向量的形式.這樣轉(zhuǎn)化的缺點(diǎn)是導(dǎo)致原始矩陣數(shù)據(jù)中元素之間

2、相關(guān)性信息的丟失.不同于傳統(tǒng)基于向量輸入的FNNs,我們提出了一個(gè)新的算法來訓(xùn)練2D-FNNs用于圖像識別,名為二維反向傳播算法(2D-BP),即采用梯度下降學(xué)習(xí)該網(wǎng)絡(luò)中所有權(quán)值.這樣的網(wǎng)絡(luò)模型保留了原始二維輸入特征的結(jié)構(gòu),有利于圖像識別.在手寫體字符和人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性.
　　2.基于二維隨機(jī)權(quán)網(wǎng)絡(luò)(2D-NNRW)的負(fù)相關(guān)集成學(xué)習(xí)算法.2D-NNRW基于單隱層2D-FNN,隨機(jī)選定隱層左右投影權(quán)值和偏置

3、值,只學(xué)習(xí)線性權(quán)值.該算法作為NNRW的擴(kuò)展,雖然也簡化減少了2D-FNN的訓(xùn)練,但它同樣需要足夠多的隱層節(jié)點(diǎn)數(shù)作為保障,這也容易導(dǎo)致過擬合現(xiàn)象.而當(dāng)網(wǎng)絡(luò)比較緊致時(shí),它只是弱分類器,而集成學(xué)習(xí)可以彌補(bǔ)2D-NNRW的這一缺陷.作為最有效的集成算法之一,負(fù)相關(guān)學(xué)習(xí)(NCL)通過控制基模型之間的差異性,來產(chǎn)生具有更好泛化性能的集成模型.因此,我們結(jié)合NCL和2D-NNRW,提出了去相關(guān)二維隨機(jī)權(quán)網(wǎng)絡(luò)集成算法(DNNE2D-NNRW).實(shí)驗(yàn)結(jié)

4、果表明,該方法在人臉識別上,相比于其他相關(guān)算法,更有效地提高了模型的泛化性能.
　　3.基于隨機(jī)局部線性模型(RLLMs)的負(fù)相關(guān)集成學(xué)習(xí)(NCL)算法.作為一種高效的集成學(xué)習(xí)框架，NCL不僅僅適用于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò).這里我們還可以采用一類特殊的FNNs名叫RLLMS作為基模型,并結(jié)合NCL來生成新的集成神經(jīng)網(wǎng)絡(luò),進(jìn)而提出了DNNE RLLM集成算法.其中的RLLMs同樣結(jié)合了隨機(jī)的思想,即隨機(jī)選定網(wǎng)絡(luò)中的非線性權(quán)值,采用負(fù)相關(guān)學(xué)