高階神經(jīng)網(wǎng)絡(luò)的梯度訓(xùn)練算法收斂性分析.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是由多層的求和單元構(gòu)成的，例如多層感知器等．這些網(wǎng)絡(luò)不但是學(xué)者們研究的熱點(diǎn)并且已經(jīng)在各個(gè)領(lǐng)域得到了廣泛應(yīng)用．由于求和單元自身的非線性映射能力有限，因此在解決復(fù)雜的問(wèn)題時(shí)，單純由求和單元構(gòu)成的網(wǎng)絡(luò)可能無(wú)法達(dá)到要求的精度．例如，盡管有結(jié)論指出，有求和單元構(gòu)成的單隱層前饋網(wǎng)絡(luò)可以以任意的精度逼近任意函數(shù)．但是在逼近某個(gè)復(fù)雜的函數(shù)時(shí)，網(wǎng)絡(luò)的隱層中需要補(bǔ)充大量的求和單元．這不但增大了網(wǎng)絡(luò)的成本，而且還降低了網(wǎng)絡(luò)的泛化能力．

2、為了克服這個(gè)缺點(diǎn)，人們引入了某些具有更強(qiáng)的非線性性質(zhì)的單元，例如：Sigma-Pi單元，積單元和Pi-Sigma單元等．這些單元可以通稱為高階單元．在結(jié)構(gòu)中整合了高階單元的神經(jīng)網(wǎng)絡(luò)被稱為高階神經(jīng)網(wǎng)絡(luò)(HONN)，其中包括Sigma-Pi神經(jīng)網(wǎng)絡(luò)(SPNN)，Pi-Sigma神經(jīng)網(wǎng)絡(luò)(PSNN)以及積單元神經(jīng)網(wǎng)絡(luò)(Product-Unitneuralnetwork-PUNN)等．人們已經(jīng)對(duì)各類高階神經(jīng)網(wǎng)絡(luò)的性能以及應(yīng)用做了相應(yīng)的研究，但是

3、由于高階神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜，因此對(duì)其理論上的研究相對(duì)較少． 梯度算法是目前最流行的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法．梯度法有兩種不同的執(zhí)行方式，它們是在線執(zhí)行方式和批處理執(zhí)行方式．本文主要的工作是分析用梯度法訓(xùn)練高階神經(jīng)網(wǎng)絡(luò)的收斂性．我給出了Sigma-Pi神經(jīng)網(wǎng)絡(luò)和積單元神經(jīng)網(wǎng)絡(luò)的梯度法收斂性結(jié)果．此外，我還研究了用高階神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)任意的布爾函數(shù)，并給出了有效地解決方案． 本文的結(jié)構(gòu)及內(nèi)容如下： 第一章回顧有關(guān)神經(jīng)網(wǎng)絡(luò)的

4、一些背景知識(shí)． 在第二章中，通過(guò)對(duì)∑-∏-∑這類Sigma-Pi神經(jīng)網(wǎng)絡(luò)的分析，得到了一些與網(wǎng)絡(luò)結(jié)構(gòu)無(wú)關(guān)的梯度算法收斂性結(jié)論．該結(jié)論具有很好的擴(kuò)展性，可以涵蓋其他幾類Sigma-Pi神經(jīng)網(wǎng)絡(luò)的收斂性，其中包括∑-∑-∏和∑-∏-∑-∏．并且此結(jié)論也適用于單隱層的求和神經(jīng)網(wǎng)絡(luò)，即∑-∑．在論述的過(guò)程了，對(duì)于訓(xùn)練過(guò)程中的誤差函數(shù)的單調(diào)性也給出了相應(yīng)的證明． 第三章和第四章分別對(duì)用批處理梯度算法和在線梯度算法訓(xùn)練積單元神經(jīng)網(wǎng)絡(luò)

5、時(shí)誤差函數(shù)的單調(diào)性及收斂性進(jìn)行了分析．該結(jié)論為由全局搜索算法和局部?jī)?yōu)化算法(梯度法)構(gòu)成的組合算法的局部?jī)?yōu)化行為提供了理論支持．隨后的數(shù)值試驗(yàn)也驗(yàn)證了理論結(jié)果的正確性． 第五章提出了二進(jìn)積單元神經(jīng)網(wǎng)絡(luò)(BinaryProduct-Unitneuralnetwork-BPUNN)，并證明了這種網(wǎng)絡(luò)可以模擬邏輯數(shù)學(xué)中的主析取范式，可以實(shí)現(xiàn)任意的布爾函數(shù)．網(wǎng)絡(luò)的權(quán)值是通過(guò)直接計(jì)算得到的，而且都是二值的．隨后還給出了該網(wǎng)絡(luò)的規(guī)則讀取算法