基于空時(shí)特征的視頻內(nèi)容人行為檢測(cè)方法研究.pdf

1、在日漸自動(dòng)化與信息化的今天,多媒體已經(jīng)成為我們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠?在教育,醫(yī)療,衛(wèi)生,生產(chǎn),交通等等各方面都離不開(kāi)多媒體的參與。視頻作為多媒體的一種形式越來(lái)越普遍,為了能夠節(jié)省視頻內(nèi)容檢索識(shí)別的時(shí)間,提高視頻處理效率,很多研究人員致力于視頻內(nèi)容的研究,包括基于內(nèi)容的視頻分類,基于內(nèi)容的視頻摘要等。視頻序列中的人體運(yùn)動(dòng)識(shí)別是一個(gè)很吸引人的并且很有挑戰(zhàn)性的研究課題在計(jì)算機(jī)領(lǐng)域中,有著很廣泛的應(yīng)用,包括動(dòng)作獲取,人機(jī)融合,環(huán)境控制,視

2、頻摘要,安全監(jiān)控以及運(yùn)動(dòng)和環(huán)境分析等。
　　本文主要研究視頻中的人行為識(shí)別,在視頻特征提取,視頻表達(dá)以及視頻人行為識(shí)別模型方面均做出創(chuàng)新性貢獻(xiàn)。首先在特征提取方面,本文提出一種空時(shí)輪廓滑動(dòng)塊梯度直方圖特征描述子。這種新的特征描述子將視頻看作一個(gè)三維立體塊,其中人體邊緣滑動(dòng)過(guò)的區(qū)域看作一個(gè)空時(shí)輪廓面,每類動(dòng)作所形成的三維輪廓類似,而不同動(dòng)作形成的三維輪廓之間存在很大差異,通過(guò)檢測(cè)三維輪廓的形狀來(lái)預(yù)測(cè)動(dòng)作類別。通過(guò)建立一系列密集重疊的

3、滑動(dòng)塊形成三維輪廓滑動(dòng)塊梯度直方圖來(lái)檢測(cè)視頻中人行為的三維輪廓,進(jìn)而預(yù)測(cè)人行為類別。其次,在視頻表達(dá)方面,本文將稀疏編碼引入到視頻人行為識(shí)別領(lǐng)域,采用稀疏編碼后的向量作為新的特征描述子,并采用最大池方法構(gòu)建視頻描述子,該方法使得表征視頻的特征向量具有很大程度的稀疏性,大大提高了算法效率。最后在視頻人行為識(shí)別模型方面,本文提出了一套基于空時(shí)特征的視頻內(nèi)容能夠人行為檢測(cè)模型,該模型采用本文新提出的基于空時(shí)輪廓滑動(dòng)塊梯度直方圖特征,并將稀疏編

4、碼和隨機(jī)森林結(jié)合在一起,利用典型的BOVW模型來(lái)進(jìn)行人行為識(shí)別。
　　本文選擇KTH(Kungliga Tekniska h(o)gskolan瑞典皇家理工學(xué)院)人行為數(shù)據(jù)庫(kù),Weizmann數(shù)據(jù)集,以及UCF體育動(dòng)作數(shù)據(jù)集對(duì)提出的算法進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果顯示采用三維空時(shí)輪廓面能夠有效區(qū)分視頻類別,本文提出的采用密集重疊的三維滑動(dòng)塊檢測(cè)輪廓面方法準(zhǔn)確有效,得到的特征描述子既包含了人體形狀信息,又包含了人體部位的運(yùn)動(dòng)方向信息,從而準(zhǔn)確