基于深度學(xué)習(xí)的人類行為分析技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展、城市信息化應(yīng)用水平不斷提升，視頻監(jiān)控逐漸陷入“監(jiān)而不控”的病態(tài).現(xiàn)階段對(duì)于監(jiān)控視頻中人類行為的判斷，需要消耗大量的人力。而利用自動(dòng)化行為分析系統(tǒng)可以有效地緩解這樣的問題。
　　本文實(shí)現(xiàn)了基于深度學(xué)習(xí)的人類行為分析框架，該框架主要包括目標(biāo)檢測(cè)、目標(biāo)跟蹤、ROI提取、行為識(shí)別等步驟。本文在現(xiàn)有的目標(biāo)檢測(cè)方法的基礎(chǔ)上，對(duì)其做了擴(kuò)展，提出了一種人類行為序列提取方法;為了更好地提取出視頻中人類行為的時(shí)空信息，本文在T

2、wo-Stream的基礎(chǔ)上做出了改進(jìn)，提出了基于C3D的Two-Stream行為識(shí)別方法。本文主要工作如下:
　　1)對(duì)現(xiàn)有基于幀的目標(biāo)檢測(cè)方法YOLOv2進(jìn)行擴(kuò)展，將前后幀中同一目標(biāo)主體進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)了檢測(cè)與跟蹤功能，同時(shí)將跟蹤目標(biāo)行為從場(chǎng)景中分割出來，排除外界干擾，以便隨后對(duì)其行為進(jìn)一步分析。
　　2)針對(duì)Two-Stream中將時(shí)空信息分開提取做法不能夠充分融合時(shí)空信息的問題，本文對(duì)其進(jìn)行了改進(jìn)，使用了C3D神經(jīng)網(wǎng)絡(luò)來

3、分別提取視頻幀和光流矢量圖像的時(shí)空信息，并在提取過程中通過網(wǎng)絡(luò)的3D卷積和3D池化操作融合，形成更具有說服力的視頻級(jí)描述符。
　　3)本文將上述方法結(jié)合，實(shí)現(xiàn)了基于深度學(xué)習(xí)的人類行為分析技術(shù)框架，該框架可以用來對(duì)于現(xiàn)實(shí)場(chǎng)景監(jiān)控中多目標(biāo)主體的行為單獨(dú)分析，對(duì)于單個(gè)行為進(jìn)行跟蹤分析，能夠排除外界環(huán)境的干擾。
　　實(shí)驗(yàn)結(jié)果表明，本文實(shí)現(xiàn)的人類行為序列提取方法能夠?qū)σ曨l中人類進(jìn)行實(shí)時(shí)檢測(cè)與跟蹤;本文提出的基于C3D的Two-Stre