基于先驗(yàn)信息編碼的約束學(xué)習(xí)算法研究.pdf

1、由于僅考慮希望的輸入/輸出信息而沒(méi)有考慮網(wǎng)絡(luò)的結(jié)構(gòu)屬性和所要解決問(wèn)題的先驗(yàn)信息或約束條件，傳統(tǒng)的基于梯度下降的反向傳播算法及其諸多改進(jìn)的算法都無(wú)法避免收斂速度慢、泛化性能差等缺陷。因此，將問(wèn)題中所蘊(yùn)涵的先驗(yàn)信息編碼進(jìn)學(xué)習(xí)算法的研究無(wú)疑是一個(gè)具有重要意義的研究方向，它能夠使網(wǎng)絡(luò)的訓(xùn)練有方向可循，而不會(huì)誤入“歧途”，從而節(jié)省網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間并能提高網(wǎng)絡(luò)的泛化能力。本文主要針對(duì)基于先驗(yàn)信息編碼的約束學(xué)習(xí)算法這一主題來(lái)開(kāi)展理論與應(yīng)用研究，主要工作

2、可以概括為以下幾個(gè)方面： 1.提出了一類改進(jìn)的耦合附加函數(shù)約束的學(xué)習(xí)算法，該類算法通過(guò)隱單元和輸出單元激活函數(shù)的一階或二階微分信息構(gòu)造附加的函數(shù)約束，并將它們耦合到算法的附加能量函數(shù)中去。該類算法能夠同時(shí)降低輸入輸出映射靈敏度和懲罰訓(xùn)練中產(chǎn)生的連接權(quán)的高頻分量，從而使該類算法提高網(wǎng)絡(luò)的泛化性能和收斂速度。此外，本文還深入研究了隱層單元的附加約束和輸出層單元的附加約束的不同組合、隱單元數(shù)目和算法中自由參數(shù)對(duì)網(wǎng)絡(luò)泛化性能的影響。特別

3、地，本文提出了將放大的梯度函數(shù)運(yùn)用到以上約束算法中，使得算法收斂更快并能增大跳出局部極小點(diǎn)的可能性。最后將這些新算法用于解決時(shí)間序列預(yù)測(cè)問(wèn)題，取得了較好的效果。 2.為了提高函數(shù)逼近精度和收斂速度，提出了三個(gè)約束學(xué)習(xí)算法。這三個(gè)逼近算法將從函數(shù)逼近問(wèn)題中提取的先驗(yàn)知識(shí)耦合進(jìn)約束算法中。先驗(yàn)信息耦合進(jìn)算法中是通過(guò)兩種方式來(lái)實(shí)現(xiàn)的，其一是以結(jié)構(gòu)約束的方式來(lái)實(shí)現(xiàn)的，也就是根據(jù)泰勒定理可以將網(wǎng)絡(luò)的輸出表示成多項(xiàng)式的形式；其二是以連接權(quán)約

4、束的形式來(lái)實(shí)現(xiàn)的，即根據(jù)微分中值定理求出函數(shù)一階二階導(dǎo)數(shù)近似估計(jì)值，再將導(dǎo)數(shù)信息表示成權(quán)值函數(shù)約束并耦合進(jìn)網(wǎng)絡(luò)的能量函數(shù)中去。與傳統(tǒng)的前饋網(wǎng)絡(luò)逼近算法相比，這三個(gè)算法具有收斂快、逼近誤差小的特點(diǎn)。 3.根據(jù)早期非小細(xì)胞肺癌預(yù)后預(yù)測(cè)問(wèn)題的特點(diǎn)，提出了極端學(xué)習(xí)機(jī)和主分量分析相結(jié)合的預(yù)測(cè)模型。由于充分利用了極端學(xué)習(xí)機(jī)和主分量分析的特點(diǎn)，該模型預(yù)測(cè)精度高、速度快，取得了傳統(tǒng)醫(yī)學(xué)方法無(wú)法比擬的效果。 4.根據(jù)泰勒定理和傅立葉級(jí)數(shù)收

5、斂定理，分別提出了多項(xiàng)式極端學(xué)習(xí)機(jī)和正余弦極端學(xué)習(xí)機(jī)。在這兩類極端學(xué)習(xí)機(jī)中，隱單元激活函數(shù)分別為一類特殊的多項(xiàng)式函數(shù)和正余弦函數(shù)。此外，根據(jù)函數(shù)的周期性和奇偶性，正余弦極端學(xué)習(xí)機(jī)衍生出四種極端學(xué)習(xí)機(jī)。文中大量的實(shí)驗(yàn)驗(yàn)證了改進(jìn)的極端學(xué)習(xí)機(jī)比傳統(tǒng)極端學(xué)習(xí)機(jī)和基于梯度下降的算法更快的收斂速度和更優(yōu)的泛化性能。最后，就已知被逼近函數(shù)的數(shù)學(xué)屬性，對(duì)如何選擇最優(yōu)的極端學(xué)習(xí)機(jī)給出了具體的辦法與措施。 5.提出了將自適應(yīng)粒子群優(yōu)化算法、問(wèn)題的先

6、驗(yàn)知識(shí)及約束算法相結(jié)合的兩種前饋網(wǎng)絡(luò)學(xué)習(xí)算法。這兩種算法首先運(yùn)用自適應(yīng)粒子群優(yōu)化算法對(duì)問(wèn)題的解進(jìn)行適當(dāng)?shù)娜炙阉?，再運(yùn)用約束算法進(jìn)行局部搜索以便得到最優(yōu)解。其中，第一種算法首先利用耦合先驗(yàn)知識(shí)的自適應(yīng)粒子群優(yōu)化算法進(jìn)行全局搜索，再利用考慮了附加函數(shù)約束的約束算法進(jìn)行局部搜索。在這種算法中，還提出了一類耦合先驗(yàn)知識(shí)的自適應(yīng)粒子群優(yōu)化算法，該粒子群優(yōu)化算法耦合了函數(shù)的一階導(dǎo)數(shù)(偏導(dǎo)數(shù))信息。而第二種算法首先利用自適應(yīng)粒子群優(yōu)化算法進(jìn)行全局搜