深度學(xué)習(xí)的模型搭建及過(guò)擬合問(wèn)題的研究 _0

1、深度學(xué)習(xí)的模型搭建及過(guò)擬合問(wèn)題的研究深度學(xué)習(xí)的模型搭建及過(guò)擬合問(wèn)題的研究深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究[3]。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層來(lái)表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。在深度學(xué)習(xí)泛化（generalization）過(guò)程中，主要存在兩個(gè)挑戰(zhàn)：欠擬合和過(guò)擬合（overfitting）。欠擬合是指模型不能在訓(xùn)練集上獲得足夠小的誤差，而過(guò)擬合是指訓(xùn)練誤差和測(cè)試誤差

2、之間的差距太大。1模型設(shè)計(jì)1.1多層感知器結(jié)構(gòu)[1]本文采用多層感知器（MLP）作為訓(xùn)練模型，它是一種前饋人工神經(jīng)網(wǎng)絡(luò)模型。它包括至少一個(gè)隱藏層（除了一個(gè)輸入層和一個(gè)輸出層以外）本文采用的多層感知器模型中的信號(hào)流傳播如下：⑴輸入：yi（n）為i神經(jīng)元的輸出，為下一個(gè)神經(jīng)元j的輸入。⑵誘導(dǎo)局部區(qū)域：神經(jīng)元j被它左邊的yi（n）神經(jīng)元產(chǎn)生的一組函數(shù)信號(hào)所饋，神經(jīng)元j產(chǎn)生誘導(dǎo)局部區(qū)域。⑶激活函數(shù)：神經(jīng)元j輸出處的函數(shù)信號(hào)yi（n）為，其中為j

3、層神經(jīng)元的激活函數(shù)。采用激活函數(shù)的一個(gè)好處是引入非線(xiàn)性因素，使神經(jīng)網(wǎng)絡(luò)變成非線(xiàn)性系統(tǒng)。本文采用Sigmoid函數(shù)作為激活函數(shù)，其定義為：，導(dǎo)數(shù)可用自身表示：見(jiàn)圖1，我們對(duì)式中通過(guò)鏈?zhǔn)揭?guī)則后的偏導(dǎo)數(shù)可以看到：，神經(jīng)元k是輸出節(jié)點(diǎn)，故：以上為倒數(shù)第一個(gè)隱藏層的傳播公式，得出了j的反向傳播遞推公式（k為j正向傳播的下一個(gè)神經(jīng)元），并用Sigmoid函數(shù)作為激活函數(shù)：于是我們得出了遞歸的校正值的定義：2實(shí)驗(yàn)本模型以識(shí)別手寫(xiě)數(shù)字為例，測(cè)試深度學(xué)習(xí)

4、模型。本文采用的數(shù)據(jù)集為著名的MNIST數(shù)據(jù)集。這個(gè)數(shù)據(jù)集有60000個(gè)訓(xùn)練樣本和10000個(gè)測(cè)試用例。我們首先對(duì)該模型進(jìn)行驗(yàn)證，然后通過(guò)調(diào)整訓(xùn)練集的大小和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)觀察其對(duì)正確率的影響。2.1模型算法學(xué)習(xí)階段：本文采用minibatch梯度下降算法：假設(shè)總樣本數(shù)為Sn，將Sn隨機(jī)按每組N個(gè)樣本分為（SnN）組。多層感知器的突觸權(quán)值的調(diào)整在訓(xùn)練樣本集合的所有N個(gè)樣本例都出現(xiàn)后進(jìn)行。（SnN）次完成整個(gè)樣本集的訓(xùn)練，構(gòu)成了一個(gè)訓(xùn)練的