深度學(xué)習(xí)的模型搭建及過擬合問題的研究 _0

1、深度學(xué)習(xí)的模型搭建及過擬合問題的研究深度學(xué)習(xí)的模型搭建及過擬合問題的研究深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究[3]。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。在深度學(xué)習(xí)泛化（generalization）過程中，主要存在兩個挑戰(zhàn)：欠擬合和過擬合（overfitting）。欠擬合是指模型不能在訓(xùn)練集上獲得足夠小的誤差，而過擬合是指訓(xùn)練誤差和測試誤差

2、之間的差距太大。1模型設(shè)計1.1多層感知器結(jié)構(gòu)[1]本文采用多層感知器（MLP）作為訓(xùn)練模型，它是一種前饋人工神經(jīng)網(wǎng)絡(luò)模型。它包括至少一個隱藏層（除了一個輸入層和一個輸出層以外）本文采用的多層感知器模型中的信號流傳播如下：⑴輸入：yi（n）為i神經(jīng)元的輸出，為下一個神經(jīng)元j的輸入。⑵誘導(dǎo)局部區(qū)域：神經(jīng)元j被它左邊的yi（n）神經(jīng)元產(chǎn)生的一組函數(shù)信號所饋，神經(jīng)元j產(chǎn)生誘導(dǎo)局部區(qū)域。⑶激活函數(shù)：神經(jīng)元j輸出處的函數(shù)信號yi（n）為，其中為j

3、層神經(jīng)元的激活函數(shù)。采用激活函數(shù)的一個好處是引入非線性因素，使神經(jīng)網(wǎng)絡(luò)變成非線性系統(tǒng)。本文采用Sigmoid函數(shù)作為激活函數(shù)，其定義為：，導(dǎo)數(shù)可用自身表示：見圖1，我們對式中通過鏈?zhǔn)揭?guī)則后的偏導(dǎo)數(shù)可以看到：，神經(jīng)元k是輸出節(jié)點，故：以上為倒數(shù)第一個隱藏層的傳播公式，得出了j的反向傳播遞推公式（k為j正向傳播的下一個神經(jīng)元），并用Sigmoid函數(shù)作為激活函數(shù)：于是我們得出了遞歸的校正值的定義：2實驗本模型以識別手寫數(shù)字為例，測試深度學(xué)習(xí)

4、模型。本文采用的數(shù)據(jù)集為著名的MNIST數(shù)據(jù)集。這個數(shù)據(jù)集有60000個訓(xùn)練樣本和10000個測試用例。我們首先對該模型進(jìn)行驗證，然后通過調(diào)整訓(xùn)練集的大小和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來觀察其對正確率的影響。2.1模型算法學(xué)習(xí)階段：本文采用minibatch梯度下降算法：假設(shè)總樣本數(shù)為Sn，將Sn隨機按每組N個樣本分為（SnN）組。多層感知器的突觸權(quán)值的調(diào)整在訓(xùn)練樣本集合的所有N個樣本例都出現(xiàn)后進(jìn)行。（SnN）次完成整個樣本集的訓(xùn)練，構(gòu)成了一個訓(xùn)練的