全連接神經(jīng)網(wǎng)絡(luò)在FPGA上的實現(xiàn)與優(yōu)化.pdf

1、隨著電子電路領(lǐng)域的飛速發(fā)展，計算機(jī)的計算能力得到了大幅提升，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)再次迎來了飛速發(fā)展的浪潮。全連接神經(jīng)網(wǎng)絡(luò)能夠處理大規(guī)模的數(shù)據(jù)，提取全部的數(shù)據(jù)特征，實現(xiàn)大規(guī)模數(shù)據(jù)的分類，因此，仍在圖像領(lǐng)域有重要應(yīng)用。全連接神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程計算復(fù)雜，計算量大，領(lǐng)域?qū)＜彝褂糜嬎隳芰Τ霰姷腉PU設(shè)備進(jìn)行訓(xùn)練;而訓(xùn)練成功的神經(jīng)網(wǎng)絡(luò)在處理前向過程時，計算相對簡單，因此往往采用FPGA搭載神經(jīng)網(wǎng)絡(luò)的前向推斷過程。雖然FPGA的計算能力難以趕超同時代

2、的GPU加速設(shè)備，但其功耗與GPU相比較低，可以計算全連接神經(jīng)網(wǎng)絡(luò)的前向過程。本文提出了一套利用OpenCL在FPGA上高效地實現(xiàn)全連接神經(jīng)網(wǎng)絡(luò)的方案，并利用商用的全連接神經(jīng)網(wǎng)絡(luò)模型，驗證了方案的優(yōu)化效果，為FPGA上利用OpenCL實現(xiàn)神經(jīng)網(wǎng)絡(luò)的設(shè)計提供了參考。
　　本文的主要工作和研究成果主要包括:
　　1.全連接神經(jīng)網(wǎng)絡(luò)算法的實現(xiàn)與優(yōu)化。傳統(tǒng)的FPGA開發(fā)利用較為復(fù)雜的硬件描述語言，為FPGA的廣泛應(yīng)用帶來了挑戰(zhàn)。而O

3、penCL定義了完整的框架，開發(fā)者可以利用OpenCL提供的框架針對FPGA進(jìn)行編程，縮短了開發(fā)周期。本文首先利用OpenCL，在FPGA上實現(xiàn)了全連接神經(jīng)網(wǎng)絡(luò)模型的各計算模塊，并分別針對兩個計算熱點提出了算法實現(xiàn)與優(yōu)化方案:針對全連接層數(shù)據(jù)規(guī)模大、數(shù)據(jù)復(fù)用率較低、對帶寬要求高的計算特點，本文利用合并偏移量的方式規(guī)整計算任務(wù)、通過分組劃分的方式發(fā)掘并行性、同時利用數(shù)據(jù)復(fù)用提升了數(shù)據(jù)使用效率，降低了訪存壓力;針對較為復(fù)雜的激活函數(shù)（如Si

4、gmoid函數(shù)），本文分析了泰勒級數(shù)法、查找表法、分段函數(shù)逼近法三種常用的激活函數(shù)實現(xiàn)方式，并衡量了FPGA上適宜的方法;針對激活函數(shù)的特征，設(shè)計了差分查找表的方式實現(xiàn)激活函數(shù)，在保證精度的前提下將查找表壓縮，節(jié)約了系統(tǒng)中的存儲空間。
　　2.針對系統(tǒng)特征，提出系統(tǒng)級的優(yōu)化方案。為最大化地利用FPGA系統(tǒng)內(nèi)的各種資源，本文針對算法實現(xiàn)后的基準(zhǔn)系統(tǒng)，根據(jù)硬件特征，分析了資源占用情況和流水線、訪存情況，利用數(shù)據(jù)重排、單指令多數(shù)據(jù)、多流