深度時(shí)空推理網(wǎng)絡(luò)的擴(kuò)展與應(yīng)用.pdf

1、深度學(xué)習(xí)近年來受到了越來越多的關(guān)注，其主要特點(diǎn)是利用不同的機(jī)器學(xué)習(xí)方法，在一個(gè)多層次的非線性變換系統(tǒng)中，通過不斷對低層特征進(jìn)行抽象，從而實(shí)現(xiàn)表征學(xué)習(xí)的任務(wù)。
　　在眾多的深度學(xué)習(xí)系統(tǒng)中，Itamar[6,7]等人提出的深度時(shí)空推理網(wǎng)絡(luò)，其出發(fā)點(diǎn)是模擬人腦的新皮層的工作機(jī)制，并在訓(xùn)練過程中，結(jié)合了無監(jiān)督學(xué)習(xí)和貝葉斯推理。這種既具有生物學(xué)證據(jù)又有良好數(shù)學(xué)理論支撐的模型，在不同的測試中均展現(xiàn)出其非凡的應(yīng)用潛力，然而在將這種潛力轉(zhuǎn)化為真實(shí)

2、的能力之前，仍有若干關(guān)鍵問題亟待解決:
　　1.現(xiàn)有的DeSTIN對帶有噪聲靜態(tài)圖片進(jìn)行特征提取時(shí)，特征會出現(xiàn)跳躍性更新，網(wǎng)絡(luò)的噪聲魯棒性較差。
　　2.由于缺乏對特征之間轉(zhuǎn)換關(guān)系的表征，現(xiàn)有DeSTIN無法適應(yīng)對視頻序列的特征提取。
　　基于上述研究背景，我們在DeSTIN網(wǎng)絡(luò)特征提取方面作了一系列研究，本文工作的意義在于提出了一套行之有效的新理論、新方法，系統(tǒng)地論述了1）如何提高DeSTIN網(wǎng)絡(luò)在噪聲環(huán)境下的噪聲魯

3、棒性的解決方案2）如何利用DeSTIN網(wǎng)絡(luò)對視頻序列進(jìn)行特征提取的關(guān)鍵技術(shù)。
　　具體來說，本文主要提出了以下創(chuàng)新性方法:
　　1.基于online EM的DeSTIN算法:為了進(jìn)一步提升DeSTIN的性能，尤其是噪聲魯棒性，使用Online Expectation-Maximization來替代DeSTIN中原有的無監(jiān)督聚類方法，從而得到一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)EM DeSTIN。通過理論分析，我們證明了新的在線聚類方法可以

4、使得EM-DeSTIN具有更好的收斂性和穩(wěn)定性;而通過在數(shù)據(jù)集MNIST上的實(shí)驗(yàn)也進(jìn)一步證明了EM-DeSTIN相對于DeSTIN和一些主流的深度系統(tǒng)而言，在噪聲魯棒性和識別準(zhǔn)確率上都有了較大的提升。
　　2.融合Ma rkov的DeSTIN算法:鑒于現(xiàn)有的DeSTIN只能很好的提取靜態(tài)圖片，對于動(dòng)態(tài)的視頻序列無法表征序列元素之間的轉(zhuǎn)換關(guān)系。本文針對此難題，我們提出了一種融合Markov的DeSTIN算法（Markov DeSTI