帶二分之一正則化項的BP網(wǎng)絡算法.pdf

1、前饋神經(jīng)網(wǎng)絡中最常見的一種學習算法為誤差反向傳播算法(Back Propagation，BP)，因此也稱BP網(wǎng)絡.BP網(wǎng)絡雖然應用廣泛，但卻有一個缺點.實際應用中，常常沒有一個很好的準則來選取網(wǎng)絡結構中隱層節(jié)點數(shù)，而只能根據(jù)經(jīng)驗來大致給出.我們知道，隱藏層節(jié)點個數(shù)對確定神經(jīng)網(wǎng)絡的結構至關重要，使用過多的隱層節(jié)點，盡管學習訓練樣本的精度會相對提高，但卻會導致過擬合的問題，網(wǎng)絡泛化能力會降低，而且學習訓練樣本的時間也會大大增加，學習效率變低

2、;而使用過少的隱層節(jié)點，又會有不足以學習訓練樣本的風險，學習訓練樣本的誤差可能會增大。因此，對一個給定訓練樣本的具體問題，合適地確定相應的神經(jīng)網(wǎng)絡隱層節(jié)點數(shù)是必要的，我們要解決的就是這一問題。針對此問題，我們在之前的誤差極小化模型中添加L1/2正則化項，建立非線性的L1/2正則化模型.基于線性L1/2正則化模型的迭代半閾值算法，我們提出了求解此非線性L1/2正則化模型的閾值算法，并給出了一定條件下算法的收斂性證明.利用此閾值算法，可以求

3、得相應網(wǎng)絡權值的稀疏解。
　　本文先介紹求解線性L1/2正則化模型的迭代半閾值算法，詳細敘述了其推導過程，然后給出求解非線性L1/2正則化模型的閾值算法。將此非線性l1/2正則化模型應用于只含有一個隱藏層的三層BP網(wǎng)絡的函數(shù)逼近中.對于給定的訓練樣本，根據(jù)提出的求解非線性L1/2正則化模型的閾值算法，求得相應網(wǎng)絡權值的稀疏解.由網(wǎng)絡權值是否為零，確定網(wǎng)絡結構中神經(jīng)元之間是否有連接，權值為零則意味著相應的連接可以去掉.如果沒有任何其