基于視頻的行為識(shí)別.pdf

1、視頻行為識(shí)別是計(jì)算機(jī)視覺領(lǐng)域里最具挑戰(zhàn)性的問題之一。視頻行為識(shí)別的任務(wù)就是利用計(jì)算機(jī)自動(dòng)地分析視頻數(shù)據(jù)，從而識(shí)別行為類別。視頻行為識(shí)別在很多領(lǐng)域有重要的應(yīng)用價(jià)值，如智能視頻監(jiān)控、視頻檢索、人-機(jī)交互等。本文研究基于卷積神經(jīng)網(wǎng)絡(luò)的視頻行為識(shí)別，主要工作及貢獻(xiàn)如下:
　　(1)基于分段雙流卷積神經(jīng)網(wǎng)絡(luò)的行為識(shí)別
　　以GoogLeNet模型替換雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的AlexNet模型，引入GoogLeNet的網(wǎng)絡(luò)模型的BN-In

2、ception層，加深網(wǎng)絡(luò)層數(shù)，增加樣本的特征表達(dá);同時(shí)，在卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，將低、中、高等不同級(jí)別特征進(jìn)行多級(jí)別、不同程度變換，實(shí)現(xiàn)關(guān)于行為樣本的低級(jí)、局部部件等不同程度特征的信息互補(bǔ)。
　　針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，以預(yù)訓(xùn)練網(wǎng)絡(luò)模型來初始化模型參數(shù)，并基于誤差反向傳播算法進(jìn)行模型參數(shù)的微調(diào)，以獲取較好的模型泛化能力。
　　將視頻在時(shí)間軸上分段，分別基于時(shí)間流、空間流信息，構(gòu)建分段卷積神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)關(guān)于視頻行為局部

3、時(shí)序結(jié)構(gòu)的有效表達(dá)。
　　基于視頻數(shù)據(jù)集UCF101與HMDB51的實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　(2)基于集成學(xué)習(xí)的行為識(shí)別
　　借助集成學(xué)習(xí)思想，改善行為識(shí)別性能。在上述個(gè)體卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)的基礎(chǔ)上，從決策級(jí)集成的角度研究了幾種基于個(gè)體識(shí)別模型投票機(jī)制的集成學(xué)習(xí)方式，借助集成模型實(shí)現(xiàn)視頻行為識(shí)別性能的進(jìn)一步改善。
　　基于數(shù)據(jù)集UCF101與HMDB51對(duì)集成模型的有效性進(jìn)行了驗(yàn)證。
　　此外，還探