基于光滑L0正則子的神經(jīng)網(wǎng)絡(luò)稀疏化梯度學(xué)習(xí)算法研究.pdf

1、科學(xué)家們在探索人類大腦的過程中形成了一門新的學(xué)科——神經(jīng)網(wǎng)絡(luò)，近年來在各個領(lǐng)域得到了廣泛應(yīng)用。前饋神經(jīng)網(wǎng)絡(luò)是一種重要的神經(jīng)網(wǎng)絡(luò)模型，而基于梯度信息的BP算法是最為流行的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。人們在梯度算法的基礎(chǔ)上提出各種改進(jìn)方法，其中運(yùn)用較多的一種方法是基于正則化思想的網(wǎng)絡(luò)剪枝方法，其通過在誤差函數(shù)中添加正則項(xiàng)，使多余單元的權(quán)值趨于零，并對權(quán)值趨于零的單元剪枝，從而達(dá)到減小網(wǎng)絡(luò)的復(fù)雜度，提高網(wǎng)絡(luò)泛化能力的效果。L0正則化方法具有最優(yōu)的稀疏性

2、，但其求解是NP難問題，難以和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行結(jié)合。本文利用光滑函數(shù)序列對L0正則子進(jìn)行逼近，進(jìn)而提出一種帶光滑Lp正則項(xiàng)的梯度學(xué)習(xí)算法，并對算法的稀疏性、收斂性進(jìn)行理論分析。
　　本文第一章介紹神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式和學(xué)習(xí)算法，以及梯度學(xué)習(xí)算法，并在此基礎(chǔ)上對Lp正則化方法作詳細(xì)介紹;第二章研究帶光滑L0正則項(xiàng)的批處理梯度學(xué)習(xí)算法，同時建立了算法的稀疏性、收斂性結(jié)果及其數(shù)學(xué)證明，并通過數(shù)值實(shí)驗(yàn)對理論結(jié)果進(jìn)行