關(guān)于隨機(jī)權(quán)網(wǎng)絡(luò)的_1稀疏正則化與Adaboost算法及其應(yīng)用研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型,其已有相當(dāng)廣泛的應(yīng)用.相對(duì)于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)算法,隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(Neural Networks with Random Weights, NNRW)算法不但訓(xùn)練速度快,而且逼近性能較好,因此,它越來(lái)越受到人們的關(guān)注,并已被廣泛應(yīng)用于各領(lǐng)域之中.
　　本論文首先分析了三種不同的稀疏重構(gòu)算法在音頻信號(hào)重構(gòu)中的優(yōu)缺點(diǎn),這

2、三種算法分別是正交匹配追蹤算法、迭代收縮閾值法、增廣拉格朗日乘子法.這一部分使我們深入理解稀疏重構(gòu)算法.
　　然后,針對(duì)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)算法,結(jié)合稀疏重構(gòu)算法及集成學(xué)習(xí)的思想,提出了兩種有效的算法——稀疏正則化算法和自適應(yīng)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)算法.隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)雖然是一種有效的前饋神經(jīng)網(wǎng)絡(luò)(FNNs),尤其是內(nèi)權(quán)和偏置值的隨機(jī)選取極大地提高了網(wǎng)絡(luò)的學(xué)習(xí)速率,并克服了其他學(xué)習(xí)算法的一些不足.但是,其在計(jì)算外權(quán)的過(guò)程中也存在著缺陷,比如穩(wěn)定

3、性較差,計(jì)算內(nèi)存消耗過(guò)大.我們就此缺陷提出了一個(gè)新的算法——稀疏正則化算法.我們結(jié)合梯度投影算法給出了一種隨機(jī)權(quán)網(wǎng)絡(luò)外權(quán)的迭代解,并提出了相應(yīng)的參數(shù)選擇方法和算法終止準(zhǔn)則.實(shí)驗(yàn)說(shuō)明所提出的算法具有優(yōu)勢(shì),尤其是當(dāng)隱層神經(jīng)元數(shù)較多和訓(xùn)練樣本較大時(shí),所給出的算法仍就可以計(jì)算外權(quán),不僅有更好的穩(wěn)定性還可以有效的避免過(guò)擬合現(xiàn)象.
　　最后,結(jié)合集成學(xué)習(xí)的思想,我們把隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)算法當(dāng)作一弱分類器,給定對(duì)應(yīng)的分布權(quán)值的迭代公式和誤差公式,通