多GPU環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)并行算法.pdf

1、隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其優(yōu)異的識(shí)別性能，在圖像識(shí)別等領(lǐng)域受到了越來越多的關(guān)注。由于神經(jīng)網(wǎng)絡(luò)模型通常包含大量參數(shù)，訓(xùn)練一個(gè)可用的卷積神經(jīng)網(wǎng)絡(luò)非常耗時(shí)。因此如何加速神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程，是深度學(xué)習(xí)領(lǐng)域的一個(gè)重要研究課題。為了解決該問題，通常采用多GPU并行的方式。多GPU并行加速訓(xùn)練過程的思路主要分為模型并行和數(shù)據(jù)并行。基于模型并行的算法難以達(dá)到負(fù)載均衡，加速性能相對較差;基于數(shù)據(jù)并行的算法中，目前的并行結(jié)構(gòu)都存在無

2、法均勻分配更新任務(wù)的問題，難以充分利用計(jì)算資源。
　　針對上述問題，在調(diào)研了現(xiàn)有的多GPU并行算法的基礎(chǔ)上，本文借鑒了異步隨機(jī)梯度下降算法中延時(shí)更新的思想，提出一種基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案，該方案可以進(jìn)一步提高多GPU的并行效率。本文的主要工作如下::
　　1)分析卷積神經(jīng)網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)。使用隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練，并在此基礎(chǔ)上，推導(dǎo)出卷積層、下采樣層和全連接層中可訓(xùn)練參數(shù)的計(jì)算公式，為后續(xù)的并行算法設(shè)計(jì)以及代碼實(shí)

3、現(xiàn)做準(zhǔn)備。
　　2)給出了基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案。比較模型并行和數(shù)據(jù)并行的特點(diǎn)后，為了具備更好的可擴(kuò)展性，進(jìn)一步研究數(shù)據(jù)并行。針對現(xiàn)有數(shù)據(jù)并行方案中，無法均勻分配更新任務(wù)的問題，提出一種以環(huán)形結(jié)構(gòu)組織GPU節(jié)點(diǎn)的方案。該方案中每個(gè)GPU都需要訓(xùn)練和更新模型，計(jì)算任務(wù)被均勻劃分。最后從理論上分析了該方案的并行性能。
　　3)在多GPU上實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練公式，實(shí)現(xiàn)單GPU版本的代碼，并選擇合適的模

4、型參數(shù)初始化方案。在此基礎(chǔ)上，通過設(shè)置恰當(dāng)?shù)耐椒桨?，以環(huán)形結(jié)構(gòu)組織GPU間的數(shù)據(jù)傳輸，實(shí)現(xiàn)數(shù)據(jù)并行。此外，每個(gè)GPU將創(chuàng)建兩個(gè)線程分別負(fù)責(zé)計(jì)算和傳輸，實(shí)現(xiàn)任務(wù)的并行，達(dá)到使用計(jì)算掩蓋傳輸?shù)男Ч?br>　　4)對基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案進(jìn)行實(shí)驗(yàn)與分析。在MNIST和CIFAR-10數(shù)據(jù)集上，使用基于環(huán)形結(jié)構(gòu)的并行方案訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。當(dāng)GPU個(gè)數(shù)為4時(shí)，分別取得了3.77和3.79倍的加速比。此外還與使用同步主從結(jié)構(gòu)、歸約樹結(jié)構(gòu)來訓(xùn)