深度神經(jīng)網(wǎng)絡(luò)架構(gòu)改進(jìn)和訓(xùn)練性能提升的研究.pdf

1、深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域已經(jīng)被應(yīng)用到各行各業(yè)中，為人們提供更加智能信息資源。通過組合多種類型的網(wǎng)絡(luò)層，形成深度神經(jīng)網(wǎng)絡(luò)模型，逐層對原始數(shù)據(jù)計算，利用反向傳播算法學(xué)習(xí)對數(shù)據(jù)越來越抽象的表示形式，從而提高諸如目標(biāo)檢測、圖像分類等任務(wù)的精確度。深度學(xué)習(xí)技術(shù)提高分類任務(wù)識別精確度的關(guān)鍵在于深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層深度是否適當(dāng)，類型是否豐富，網(wǎng)絡(luò)結(jié)構(gòu)是否合理，訓(xùn)練效率是否可接受等方面。為了提高深度神經(jīng)網(wǎng)絡(luò)對圖像分類的精確度，本文分別從深度神經(jīng)網(wǎng)絡(luò)的

2、網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)訓(xùn)練效率兩方面提出了新的思路，并進(jìn)行了驗證。
　　網(wǎng)絡(luò)結(jié)構(gòu)方面，本文提出了一種基于多個圖像特征提取網(wǎng)絡(luò)模型的深度神經(jīng)網(wǎng)絡(luò)，通過將數(shù)據(jù)特征抽象階段的網(wǎng)絡(luò)層分成多個計算路徑，各個計算路徑相互不干涉，分別同時對相同的訓(xùn)練樣本數(shù)據(jù)進(jìn)行特征抽象計算，利用反向傳播算法對各個路徑對應(yīng)的模型參數(shù)進(jìn)行微調(diào)，學(xué)習(xí)圖像特征，并輸出對候選圖像類型的預(yù)測概率分布。同時，為了豐富特征提取網(wǎng)絡(luò)模型的種類，還設(shè)計了一種基于自編碼器的特征提取網(wǎng)絡(luò)模型

3、，與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)一起構(gòu)成了本文的多路特征提取網(wǎng)絡(luò)模型。經(jīng)過特征提取階段，對應(yīng)得到多組預(yù)測概率分布，并輸入至本文設(shè)計的誤差分析網(wǎng)絡(luò)中，綜合考慮每組數(shù)值，經(jīng)過一系列網(wǎng)絡(luò)層的計算變換，最終給出更加接近真實標(biāo)簽的預(yù)測概率值，達(dá)到提高預(yù)測精確度的目的。
　　網(wǎng)絡(luò)的訓(xùn)練效率方面，本文通過把多路訓(xùn)練網(wǎng)絡(luò)計算過程中超出計算機內(nèi)存的部分中間計算結(jié)果臨時放在指定磁盤空間，避免系統(tǒng)無規(guī)則的數(shù)據(jù)交換，同時改進(jìn)操作系統(tǒng)底層的I/O調(diào)度算法，引入遺傳算法