無標(biāo)記人體運(yùn)動捕捉及姿態(tài)估計的研究.pdf

1、人類感知外界信息，80％以上是通過視覺得到的，讓計算機(jī)具有視覺是人類多年以來的夢想。隨著人機(jī)交互技術(shù)的發(fā)展，人與計算機(jī)之間自然的、多模態(tài)的交互將成為人與計算機(jī)之間交互的主要方式。而這首先就需要計算機(jī)可以正確地理解和捕捉人的行為，運(yùn)動捕捉正是在這種背景下提出來。運(yùn)動捕捉是指檢測和記錄運(yùn)動目標(biāo)（通常是人）的動作或表情，并將其轉(zhuǎn)化為數(shù)字化的“抽象運(yùn)動”的技術(shù)，其結(jié)果則表示為不同時刻目標(biāo)所處的姿態(tài)。它是新一代人機(jī)交互的關(guān)鍵技術(shù)之一，同時也可應(yīng)用

2、于動畫游戲制作、運(yùn)動分析、虛擬現(xiàn)實、智能監(jiān)控及模型基編碼等領(lǐng)域。 基于視覺的人體運(yùn)動捕捉具有非入侵、成本低、智能化等優(yōu)點(diǎn)。從圖像序列中獲取人體的姿態(tài)信息已經(jīng)成為運(yùn)動捕捉領(lǐng)域的熱點(diǎn)之一．然而由于存在人體的非剛體運(yùn)動、三維空間到二維圖像平面投影的多義性、人體的遮擋與自遮擋、高維狀態(tài)空間搜索、復(fù)雜條件下的圖像特征提取與匹配等方面的困難，從視頻圖像中恢復(fù)出人體三維運(yùn)動姿態(tài)存在大量的不確定性。因此三維人體運(yùn)動捕捉是計算機(jī)視覺領(lǐng)域一項非常有

3、挑戰(zhàn)性的任務(wù)。本文正是從計算機(jī)視覺的角度出發(fā)，對基于視覺的人體運(yùn)動捕捉和姿態(tài)估計進(jìn)行了深入地研究，其取得的主要成果可以總結(jié)如下： 1．提出了一種集多種約束功能的活動輪廓運(yùn)動目標(biāo)提取算法，即MC-GMM-Active Contours。它在活動輪廓的框架之下引入了對GMM背景模型的描述。為了有效地利用前一幀已經(jīng)獲得的前景目標(biāo)的有關(guān)信息，能量函數(shù)中引入了前景顏色模型。為了有效的抑制陰影，能量函數(shù)中引入了陰影消除能量項來代替以往獨(dú)立的

4、陰影消除模塊。人們對物體的認(rèn)識主要是來自于其外形輪廓，而能量函數(shù)的曲率約束項則將目標(biāo)輪廓及先驗知識約束統(tǒng)一于運(yùn)動目標(biāo)提取的過程之中。能量函數(shù)的優(yōu)化采用曲線演化及水平集方法來優(yōu)化目標(biāo)函數(shù)的方法。而在水平集的數(shù)值解中，采用了半隱式無條件穩(wěn)定的加性算子分裂算法（Additive Operator Splitting， AOS）。這些使得我們在固定攝像機(jī)條件下，獲得了比通常算法更準(zhǔn)確和快速的運(yùn)動目標(biāo)提取算法。 2．提出了一種結(jié)合改進(jìn)的三

5、維動態(tài)馬爾可夫隨機(jī)場（Markov Random Fields）和距離能量模型（Distance Energy Model）的姿態(tài)估計方法（M-MRF-DEM）。相比以往基于MRF的運(yùn)動捕捉算法，有如下的改進(jìn)：為了使模型與表演者任何時候都合身緊湊，我們提出了一種基于骨架模型的自適應(yīng)距離能量模型。它可以根據(jù)姿態(tài)估計過程中的反饋，對人體模型進(jìn)行在線更新。為了可以更有效的描述MRF中體素之間的關(guān)系，我們采用了一個更準(zhǔn)確的二元交互勢。為了能更好

6、地約束人體運(yùn)動姿態(tài)的合理性，我們引入了更合理的附加約束項。實驗表明改進(jìn)后的算法使得估計的姿態(tài)更為魯棒。 3．提出了一種無需目標(biāo)提取的3D活動輪廓運(yùn)動捕捉算法。該方法不再把運(yùn)動目標(biāo)提取和姿態(tài)估計作為兩個獨(dú)立的模塊相繼處理。以往的運(yùn)動目標(biāo)提取模塊提取出人體輪廓之后，后續(xù)的處理步驟只關(guān)注圖像中輪廓以內(nèi)的部分，這使得后續(xù)步驟中信息出現(xiàn)丟失。同時這也使得后續(xù)的處理過分依賴目標(biāo)提取的結(jié)果，一旦目標(biāo)提取存在錯誤則在后續(xù)步驟中無法恢復(fù)。而基于3

7、D活動輪廓的人體運(yùn)動捕捉將人體的目標(biāo)提取與姿態(tài)估計無縫地整合到活動輪廓的框架下，借助于人體模型，將運(yùn)動捕捉與三維重建兩個任務(wù)有機(jī)地結(jié)合起來，克服了前面的缺點(diǎn)。同時該算法引入了人體運(yùn)動先驗約束項來抑制三維數(shù)據(jù)中攝像機(jī)遮擋帶來的影響，這些改進(jìn)使得我們的算法獲得比通常算法具有更高效率和更加魯棒的效果。 4．提出了一種基于2D活動輪廓的強(qiáng)先驗運(yùn)動目標(biāo)分割與人體姿態(tài)估計算法。該方法同樣不再把運(yùn)動目標(biāo)提取作為一個獨(dú)立的模塊來單獨(dú)處理。但是在