深度學(xué)習(xí)中卷積網(wǎng)絡(luò)的改進算法研究.pdf

1、自2006年以來，深度學(xué)習(xí)技術(shù)備受矚目。它正在多個領(lǐng)域如語音識別、圖像識別等領(lǐng)域大放異彩，而深度學(xué)習(xí)的卷積網(wǎng)絡(luò)技術(shù)也在計算機視覺領(lǐng)域獨領(lǐng)風(fēng)騷。目前在深度學(xué)習(xí)中使用最多也最有效的就是卷積神經(jīng)網(wǎng)絡(luò)(CNN)，由于其獨特的參數(shù)共享的卷積結(jié)構(gòu)，網(wǎng)絡(luò)的表達能力得以增強;除了CNN，在卷積網(wǎng)絡(luò)中還有一種簡單的卷積網(wǎng)絡(luò)被稱為主成分分析網(wǎng)絡(luò)(PCANet)，該網(wǎng)絡(luò)的特點是只有前向傳播的路徑，沒有反向傳播這個過程，結(jié)構(gòu)較為簡單，也能堆疊成深度的網(wǎng)絡(luò)。卷積

2、網(wǎng)絡(luò)的問題目前主要是計算量大、硬件條件苛刻、參數(shù)量大、訓(xùn)練過程緩慢，同時網(wǎng)絡(luò)的泛化性也不夠好。
　　卷積網(wǎng)絡(luò)PCANet憑借其簡單的網(wǎng)絡(luò)結(jié)構(gòu)，因而訓(xùn)練快速并且在識別任務(wù)中表現(xiàn)良好。本文首先針對PCANet，結(jié)合人臉識別的應(yīng)用，提出了關(guān)于該網(wǎng)絡(luò)的改進方法，重新構(gòu)造了一種特征提取網(wǎng)絡(luò)LPPNet/LPP PCANet。該網(wǎng)絡(luò)在多個人臉數(shù)據(jù)集ORL，Yale，AR上驗證了該網(wǎng)絡(luò)的有效性。實驗表明，LPPNet在這些數(shù)據(jù)集上表現(xiàn)良好，實驗

3、結(jié)果總體而言比PCANet稍好，同時遠比單純使用傳統(tǒng)的人臉識別算法Laplacianfaces的效果要好，并且在只有較少的訓(xùn)練圖像時以及表情變化較大時，LPPNet要明顯優(yōu)于PCANet。
　　而針對CNN中傳統(tǒng)的卷積過程計算慢等問題，本文研究了在頻域中通過不同快速算法計算卷積的有效性。利用卷積定理在頻域中實現(xiàn)空域線性卷積被認為是一種非常有效的實現(xiàn)方式。因此本文首先提出一種統(tǒng)一的基于時域抽取方法的分裂基-2/(2a)1維FFT快速

4、算法，其中a為正整數(shù)，然后在CPU環(huán)境下對提出的FFT算法對卷積神經(jīng)網(wǎng)絡(luò)中的加速性能進行了比較研究。在兩個標準的數(shù)據(jù)庫MNIST和Cifar-10上的實驗表明:使用分裂基-2/(2a)實現(xiàn)的卷積替代傳統(tǒng)的卷積實現(xiàn)方式并不會降低整個CNN的識別精度，并且當(dāng)a=2時，分裂基-2/4能取得令人滿意的提速效果，在以上兩個數(shù)據(jù)集上分別提速38.56％和72.01％。
　　最后本文針對CNN中參數(shù)量大的問題，結(jié)合低秩矩陣分解，對Zhang等人

5、新提出的圖像去噪網(wǎng)絡(luò)進行了改進。值得注意的是，據(jù)文獻檢索，將網(wǎng)絡(luò)壓縮的方法用于深度學(xué)習(xí)圖像去噪網(wǎng)絡(luò)的嘗試尚屬首次。本文成功的運用低秩矩陣分解的方法壓縮了該去噪網(wǎng)絡(luò)，并且指出即使降低原始網(wǎng)絡(luò)的深度（17層）至12層仍然能有不遜色的去噪表現(xiàn)。對于特定噪聲強度的去噪，僅僅用略微的PSNR值上的差異將原始DnCNN去噪網(wǎng)絡(luò)的參數(shù)降低了至少75％，而視覺效果無明顯差異;而對于盲去噪，用不超過0.5db的PSNR的下降保證了與標準去噪網(wǎng)絡(luò)基本一致的