改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究.pdf

1、卷積神經(jīng)網(wǎng)絡(luò)屬于深度學(xué)習(xí)架構(gòu)，其采用了局部連接、權(quán)值共享和子采樣操作，使得需要訓(xùn)練的權(quán)值參數(shù)減少，因此，卷積神經(jīng)網(wǎng)絡(luò)可以在層數(shù)較多的情況下，仍然具有良好的表現(xiàn)。除此之外，卷積神經(jīng)網(wǎng)絡(luò)還有平移、縮放不變性等諸多優(yōu)點(diǎn)。到目前為止，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用在了多個(gè)領(lǐng)域并取得了巨大的成功，但是卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展仍然存在以下問題:
　　研究表明，激活函數(shù)對于網(wǎng)絡(luò)性能有著十分重要的影響，但激活函數(shù)的選擇卻十分困難。目前主要通過經(jīng)驗(yàn)或者試驗(yàn)從一些人

2、工設(shè)計(jì)的激活函數(shù)中選擇出合適的激活函數(shù)。通過經(jīng)驗(yàn)來進(jìn)行選擇時(shí)，一方面經(jīng)驗(yàn)可能不準(zhǔn)確，另一方面很可能沒有經(jīng)驗(yàn)可以借鑒;而通過試驗(yàn)確定時(shí)，又因?yàn)橥瑫r(shí)存在訓(xùn)練算法的其他參數(shù)需要選擇，而這都需要采用交叉驗(yàn)證來確定，造成了確定最佳激活函數(shù)和參數(shù)的時(shí)間大大增加，給試驗(yàn)帶來了很大的不便。針對激活函數(shù)選擇困難的問題，本文在maxout的基礎(chǔ)上，提出了稀疏maxout卷積神經(jīng)網(wǎng)絡(luò)，解決了激活函數(shù)選擇難的問題并改善了maxout卷積神經(jīng)網(wǎng)絡(luò)性能。
　

3、　卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式，在一般情況下，會采用有監(jiān)督的學(xué)習(xí)或者逐層無監(jiān)督學(xué)習(xí)方式。逐層無監(jiān)督學(xué)習(xí)存在訓(xùn)練繁瑣，時(shí)間較長，且訓(xùn)練得到的特征與具體任務(wù)不相關(guān)等問題;而有監(jiān)督的學(xué)習(xí)存在梯度彌散，訓(xùn)練樣本不足等問題。針對上述問題，本文將有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)算法結(jié)合起來，提出了基于k-means的卷積神經(jīng)網(wǎng)絡(luò)，并且將該網(wǎng)絡(luò)應(yīng)用到了交通標(biāo)志識別任務(wù)中。
　　本文主要工作包括以下三個(gè)方面:1，針對激活函數(shù)選擇困難的問題，提出了稀疏maxout

4、卷積神經(jīng)網(wǎng)絡(luò)，并在手寫數(shù)字字體MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集上進(jìn)行性能測試。試驗(yàn)結(jié)果表明，稀疏maxout卷積神經(jīng)網(wǎng)絡(luò)測試正確率高于maxout卷積神經(jīng)網(wǎng)絡(luò)，性能穩(wěn)定性優(yōu)于后者。2，針對卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法上存在的問題，提出了基于k-means的卷積神經(jīng)網(wǎng)絡(luò)，并在手寫數(shù)字字體MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集上進(jìn)行性能測試，并與其他算法進(jìn)行了對比，試驗(yàn)結(jié)果表明，在規(guī)模相當(dāng)?shù)那闆r下，基于k-means的卷積神經(jīng)網(wǎng)絡(luò)在測試集