視頻中人體姿態(tài)估計(jì)、跟蹤與行為識(shí)別研究.pdf

1、隨著機(jī)器人越來越多地參與到人類日常的生產(chǎn)與生活，人機(jī)交互問題引起了廣泛的關(guān)注。在人機(jī)交互問題中，機(jī)器人感知外界環(huán)境的能力非常重要。與人類感知外界環(huán)境類似，機(jī)器人也需要通過視覺、味覺、嗅覺、聽覺與觸覺來感知外界環(huán)境信息。在目前機(jī)器人的應(yīng)用場合中，較為常用的機(jī)器人感知方式是視覺、聽覺與觸覺。其中視覺尤為重要，人類獲取信息的80％來自于視覺，因此學(xué)術(shù)界對(duì)機(jī)器人通過視覺獲取信息的方法與技術(shù)的研究關(guān)注度最高。
　　用于人機(jī)交互場景中的機(jī)器人

2、通常依靠彩色攝像頭感知與觀察人體及其外界環(huán)境。本論文通過從視頻中提取的信息來識(shí)別并理解人體的行為與動(dòng)作等，可以快速建立人體行為特征數(shù)據(jù)庫，為仿人機(jī)器人行為規(guī)劃或人機(jī)交互提供基礎(chǔ)數(shù)據(jù)和模型支持。本文提出了基于多級(jí)動(dòng)態(tài)算法結(jié)構(gòu)的人體姿態(tài)離線估計(jì)方法和全局-局部分層的人體姿態(tài)在線估計(jì)與跟蹤方法;并在視頻中人體姿態(tài)估計(jì)結(jié)果的基礎(chǔ)上，提出了基于關(guān)鍵幀切割視頻子段的人體運(yùn)動(dòng)行為識(shí)別方法和基于卷積神經(jīng)網(wǎng)絡(luò)特征編碼的人體精細(xì)行為識(shí)別方法。論文的主要內(nèi)容

3、及創(chuàng)新點(diǎn)如下:
　　1.構(gòu)造出可分解與重構(gòu)的二維人體姿態(tài)表達(dá)模型。該模型由全局層和局部層組成，稱為全局-局部分層的人體姿態(tài)表達(dá)模型。模型的全局層用來表示完整的人體上半身姿態(tài)，局部層用來表示每個(gè)人體部位的獨(dú)立姿態(tài)。此模型的優(yōu)點(diǎn)是，在進(jìn)行人體姿態(tài)的優(yōu)化時(shí)，可以在局部層中對(duì)部位姿態(tài)進(jìn)行單獨(dú)的優(yōu)化，并用最優(yōu)的局部層部位姿態(tài)逼近最優(yōu)全局層姿態(tài);對(duì)于局部層得到的姿態(tài)結(jié)果，又可以通過全局層進(jìn)行修正，從而使人體姿態(tài)優(yōu)化問題更具有針對(duì)性。
　

4、　2.給出了實(shí)現(xiàn)視頻中人體姿態(tài)離線估計(jì)的多級(jí)動(dòng)態(tài)算法結(jié)構(gòu)。該算法分為五級(jí)，在人體姿態(tài)估計(jì)的過程中，每一級(jí)的參數(shù)及數(shù)據(jù)動(dòng)態(tài)變化，稱為多級(jí)動(dòng)態(tài)算法結(jié)構(gòu)。在視頻相鄰幀中建立虛擬姿態(tài)，并利用虛擬姿態(tài)計(jì)算姿態(tài)樣本在視頻中的一致性損耗，構(gòu)造評(píng)價(jià)姿態(tài)候選樣本的代價(jià)函數(shù)，從而保證了視頻序列中人體姿態(tài)的一致性。另外，通過對(duì)粒子群優(yōu)化算法的有效使用，實(shí)現(xiàn)了用較少的人體姿態(tài)候選樣本逼近最優(yōu)人體姿態(tài)，在得到視頻中精度較高的人體姿態(tài)估計(jì)結(jié)果的同時(shí)減少運(yùn)算量。

5、r>　　3.提出了全局-局部分層的視頻中人體姿態(tài)在線估計(jì)與跟蹤算法。首先，在視頻第一幀中對(duì)人體姿態(tài)目標(biāo)進(jìn)行初始化，得到視頻中目標(biāo)人體的有效信息。其次，在人體姿態(tài)估計(jì)與跟蹤的過程中，利用視頻運(yùn)動(dòng)信息與圖像表觀信息，對(duì)目標(biāo)進(jìn)行邊跟蹤邊校正。然后，構(gòu)造一種懲罰發(fā)生漂移或誤估計(jì)姿態(tài)的自適應(yīng)懲罰函數(shù)，保證人體姿態(tài)在視頻中的連續(xù)性，有效實(shí)現(xiàn)了視頻中人體姿態(tài)的在線估計(jì)與跟蹤。
　　4.提出了基于多圖像序列及視頻切割技術(shù)的視頻中人體運(yùn)動(dòng)行為識(shí)別方

6、法。首先，采用人體姿態(tài)估計(jì)方法得到人體關(guān)鍵點(diǎn)在圖像中的位置，從圖像中提取出人體區(qū)域的圖像塊，增加了人體行為信息的有效像素。其次，計(jì)算光流圖及其對(duì)應(yīng)的人體區(qū)域圖像塊，共構(gòu)造出四條圖像序列，并用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。然后，提取視頻序列中關(guān)鍵幀并構(gòu)建二叉樹對(duì)視頻進(jìn)行切割，得到了由粗略到精細(xì)的數(shù)個(gè)視頻子段。最后，從每個(gè)視頻子段中提取卷積神經(jīng)網(wǎng)絡(luò)特征向量并融合，構(gòu)造出能夠表達(dá)人體運(yùn)動(dòng)行為的特征，實(shí)現(xiàn)了視頻中人體運(yùn)動(dòng)行為的有效識(shí)別。
　　5.