深度卷積網(wǎng)絡(luò)預(yù)訓(xùn)練策略的研究與應(yīng)用.pdf

1、深度學(xué)習(xí)，也即多層神經(jīng)網(wǎng)絡(luò)模型，是機(jī)器學(xué)習(xí)和人工智能研究的最為火熱的研究領(lǐng)域之一。近些年來，深度學(xué)習(xí)在解決圖像識別、視頻處理、自然語言處理、語音識別甚至游戲人工智能等多個問題上均取得了突破性的進(jìn)展。更準(zhǔn)確地說，一個深度神經(jīng)網(wǎng)絡(luò)可以在這些領(lǐng)域的識別問題上達(dá)到接近人類的水平，這使得它廣受學(xué)術(shù)界和工業(yè)界的關(guān)注。
　　到目前為止，深度學(xué)習(xí)的研究有兩個核心問題：1）深度學(xué)習(xí)的理論框架；2）深度網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化方法。一個與這兩個核心問題是

2、緊密相關(guān)的技術(shù)就是預(yù)訓(xùn)練初始化技術(shù)。預(yù)訓(xùn)練初始化，最早由Hinton在深度置信網(wǎng)絡(luò)的訓(xùn)練過程中提出，并被多個早期實(shí)驗(yàn)工作證明其有效性。具體來說，一個好的預(yù)訓(xùn)練初始化策略，不僅僅需要從對網(wǎng)絡(luò)的原理出發(fā)來合理地進(jìn)行無監(jiān)督訓(xùn)練，而且需要減輕網(wǎng)絡(luò)在訓(xùn)練過程中的優(yōu)化困難。
　　本文的主要內(nèi)容是針對卷積神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練策略的研究。
　　本文整理和總結(jié)了所有卷積神經(jīng)網(wǎng)絡(luò)研究方面的重要進(jìn)展：從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)到優(yōu)化算法到權(quán)值初始化。本文重點(diǎn)分析了

3、初始化算法，從每個算法的設(shè)計(jì)思路出發(fā)，結(jié)合理論推導(dǎo)，并給出了完整的算法流程。最后本文通過結(jié)合現(xiàn)有的初始化算法的研究成果，提出了針對卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練方法——PCAUV算法。
　　本文的主要工作如下：
　　1.通過實(shí)驗(yàn)的方法，分析和總結(jié)了卷積核在優(yōu)化過程中的變化，并肯定了卷積核初始化的有效性和必要性。
　　2.通過實(shí)驗(yàn)的方法，分析和評估了訓(xùn)練好的卷積網(wǎng)絡(luò)中卷積核的重要性，并提出了影響卷積核重要性的因素的猜想。