深度學(xué)習(xí)圖像識(shí)別模型的優(yōu)化及應(yīng)用.pdf

1、深度學(xué)習(xí)（deep learning）自2006年出現(xiàn)以來(lái)，在互聯(lián)網(wǎng)大數(shù)據(jù)和具備超強(qiáng)運(yùn)算力的CPU、GPU的推動(dòng)下，對(duì)圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能領(lǐng)域帶來(lái)了突破性的進(jìn)展，同時(shí)也引發(fā)了人們對(duì)神經(jīng)網(wǎng)絡(luò)研究的第三次浪潮。雖然深度學(xué)習(xí)在諸多領(lǐng)域應(yīng)用效果優(yōu)良，但是其巨大的計(jì)算復(fù)雜度以及模型內(nèi)存占用量嚴(yán)重阻礙了人工智能的普適性以及靈活性，以至于如今許多依靠深度學(xué)習(xí)的應(yīng)用服務(wù)不得不依賴(lài)云計(jì)算，同時(shí)也帶來(lái)了大量的功耗。因此，本文針對(duì)深度學(xué)

2、習(xí)圖像識(shí)別模型做了一系列優(yōu)化及應(yīng)用研究，主要通過(guò)引入脈沖神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，因?yàn)槊}沖神經(jīng)網(wǎng)絡(luò)生物性更強(qiáng)，具有運(yùn)算速度快以及功耗低、延遲低的優(yōu)點(diǎn)，在此基礎(chǔ)上能夠大大降低深度學(xué)習(xí)圖像識(shí)別模型的計(jì)算量以及模型內(nèi)存占用量，從而使得其能夠直接應(yīng)用在諸多嵌入式設(shè)備上，在未來(lái)的智能設(shè)備，機(jī)器人等領(lǐng)域有廣闊前景。
　　深度學(xué)習(xí)主要通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，鑒于神經(jīng)網(wǎng)絡(luò)是由若干神經(jīng)元構(gòu)成，因此，本文首先分析了幾類(lèi)脈沖神經(jīng)元的動(dòng)力學(xué)特性，為后續(xù)研究奠定基礎(chǔ)

3、。其次對(duì)于深度學(xué)習(xí)的一般訓(xùn)練算法提出基于梯度和動(dòng)量等超參數(shù)的調(diào)節(jié)方法。然后將基于浮點(diǎn)數(shù)運(yùn)算傳遞信息的深度信念網(wǎng)絡(luò)修改為基于脈沖的形式傳遞信息，并對(duì)其加以?xún)?nèi)部可塑性（intrinsic plasticity，IP）機(jī)制強(qiáng)化，經(jīng)過(guò)經(jīng)典的手寫(xiě)數(shù)字識(shí)別實(shí)驗(yàn)來(lái)考證此種優(yōu)化的可行性和有效性。最后對(duì)卷積神經(jīng)網(wǎng)絡(luò)做出改進(jìn)，采用最大特征圖（max-feature-map，MFM）神經(jīng)元替換線(xiàn)性修正神經(jīng)元（rectified linear units，Re

4、LU），在網(wǎng)絡(luò)結(jié)構(gòu)中加入NIN(network in network)結(jié)構(gòu)優(yōu)化，實(shí)現(xiàn)了人臉識(shí)別應(yīng)用，并且移植到嵌入式設(shè)備樹(shù)莓派。
　　通過(guò)手寫(xiě)數(shù)字實(shí)驗(yàn)表明將脈沖神經(jīng)網(wǎng)絡(luò)引入深度信念網(wǎng)絡(luò)優(yōu)化之后，識(shí)別單張手寫(xiě)數(shù)字灰度圖像平均花費(fèi)約5.8 ms，加入IP機(jī)制之后網(wǎng)絡(luò)模型更加穩(wěn)定，識(shí)別單張手寫(xiě)數(shù)字灰度圖像平均時(shí)間約為2.5 ms，并且具備自適應(yīng)調(diào)節(jié)神經(jīng)元內(nèi)部放電率功能，與不引入脈沖神經(jīng)網(wǎng)絡(luò)時(shí)大約需要32ms的時(shí)間消耗相比，優(yōu)勢(shì)明顯。通過(guò)