基于視頻的三維人體運(yùn)動捕獲方法研究.pdf

1、基于視頻的人體運(yùn)動分析是近年來模式識別、智能人機(jī)接口以及虛擬現(xiàn)實等研究領(lǐng)域中一個備受關(guān)注的前沿方向。它不僅具有重要的研究意義，而且在智能監(jiān)控、體育運(yùn)動分析、動畫生成等方面具有廣闊的應(yīng)用前景。因此，它吸引了越來越多的研究者的興趣?；谝曨l的人體運(yùn)動分析的主要目的，是從一組包含人的視頻圖像序列中檢測、識別、跟蹤人體行為，并對其進(jìn)行分析和理解。其中，運(yùn)動檢測和運(yùn)動跟蹤等屬于底層視覺問題，而行為的理解和描述屬于高層視覺問題。 本文針對基

2、于視頻的人體運(yùn)動分析中的人體運(yùn)動的行為理解的視覺問題，即人體運(yùn)動捕獲進(jìn)行了研究，重點研究如何從蹦床、體操等復(fù)雜高動態(tài)視頻中提取人體3D運(yùn)動信息。創(chuàng)新之處如下： 1、在總體思想與方法上，提出了一種新的基于視頻的3D人體運(yùn)動生成方法 從運(yùn)動視頻中獲取人體的3D運(yùn)動信息是一個非常困難的問題。目前國內(nèi)外的研究成果，都是只能對特定條件下采集的運(yùn)動視頻進(jìn)行處理，并且只能針對例如走，跑步等簡單的周期性運(yùn)動類型。我們針對記錄人體復(fù)雜運(yùn)動

3、的高動態(tài)運(yùn)動視頻，進(jìn)行了基于視頻的3D運(yùn)動信息生成的研究，旨在得到3D人體運(yùn)動數(shù)據(jù)的精確、整體描述。在研究策略中，我們加入了一些基于領(lǐng)域的知識，即，針對某種運(yùn)動類型，充分利用基于領(lǐng)域內(nèi)采集的3D運(yùn)動數(shù)據(jù)庫，同時，采用視頻圖像處理與學(xué)習(xí)策略相結(jié)合的策略來提取視頻中的人體3D運(yùn)動信息。我們選用蹦床運(yùn)動視頻作為研究實例，并通過大量實驗數(shù)據(jù)進(jìn)行了驗證。實驗結(jié)果表明，本文的方法避免了攝像機(jī)定標(biāo)的繁瑣計算過程，能對任意給定的運(yùn)動視頻進(jìn)行處理；其次，

4、由于采用基于領(lǐng)域的學(xué)習(xí)策略，與現(xiàn)有方法相比，本文的方法在計算穩(wěn)定性與結(jié)果精度方面都有了很大的提高：重構(gòu)效率可以達(dá)到次線性級fsub-linear)，能基本滿足實時處理的要求；同時，經(jīng)過量化測試，在輸入視頻數(shù)據(jù)較為理想的情況下，姿態(tài)重構(gòu)的成功率穩(wěn)定在97％以上；而且算法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構(gòu)成功率也可以達(dá)到94.5％。在此基礎(chǔ)上獲取的連續(xù)3D人體運(yùn)動數(shù)據(jù)也體現(xiàn)了良好的運(yùn)動相關(guān)性和物理真實性

5、。 2、提出了一種基于輪廓相似性匹配的人體姿態(tài)重構(gòu)方法 3D人體姿態(tài)重構(gòu)是基于視頻的3D人體運(yùn)動生成的基礎(chǔ)。本文中，我們提出了一種改進(jìn)的基于輪廓相似性匹配的人體姿態(tài)重構(gòu)方法。該方法將經(jīng)典的Hu矩不變量與仿射矩不變量(AMIs)相結(jié)合。實踐證明，與經(jīng)典的Hu矩方法相比，基于Hu矩不變量與仿射矩不變量(AMIs)相結(jié)合的方法不僅修正了：Hu矩方法中由于旋轉(zhuǎn)不變性所導(dǎo)致的誤差，而且計算的總體效率也提高了10％以上。 為

6、了進(jìn)一步提高姿態(tài)重構(gòu)的精度和計算效率，我們采用基于EMD(Earth-Mover'sDistance)的方法進(jìn)行優(yōu)化處理；同時，為了加快執(zhí)行效率，我們用LSH(Local-SensitiveHashing)來對數(shù)據(jù)庫建立索引；另外，為了提高匹配結(jié)果對輪廓噪聲的魯棒性，我們對輪廓特征引入形狀上下文(Shape Context)的描述。實驗表明，經(jīng)過這一系列的優(yōu)化處理以后，在輪廓提取質(zhì)量較為理想的情況下，姿態(tài)重構(gòu)的成功率穩(wěn)定在97％以上，該

7、方法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構(gòu)成功率也可以達(dá)到94.5％。執(zhí)行效率更是達(dá)到次線性級(sub-1inear)，能基本滿足基于視頻的人體姿態(tài)重構(gòu)中實時處理的要求。 3、提出了一種基于視頻內(nèi)容的3D人體姿態(tài)求精方法 所謂基于視頻內(nèi)容的3D人體姿態(tài)求精，就是在已知初始人體3D姿態(tài)信息的基礎(chǔ)上，根據(jù)視頻中人體輪廓信息，將初始人體3D姿態(tài)進(jìn)行變形，從而得到與視頻中對應(yīng)的精確的3D人體結(jié)構(gòu)

8、信息。在我們的實際應(yīng)用中，我們結(jié)合基于點集的輪廓匹配方法，同時綜合利用2D骨架信息，來解決基于視頻內(nèi)容的人體姿態(tài)求精問題。實驗結(jié)果表明，與目前國內(nèi)外現(xiàn)有方法相比，我們的方法不僅能夠保證處理結(jié)果的精度，而且只需要通過簡單高效的2D運(yùn)算就可以實現(xiàn)變形求精。另外，我們的變形技術(shù)是基于通用的處理框架，可用于各種類型的已知初始3D信息的運(yùn)動對象的姿態(tài)求精處理，體現(xiàn)了良好的通用性。 4、提出了一個基于3D運(yùn)動庫的時空模型，并以此為基礎(chǔ)，提出

9、了一種3D連續(xù)運(yùn)動生成方法 為了充分利用3D運(yùn)動數(shù)據(jù)庫中所蘊(yùn)含的豐富的人體結(jié)構(gòu)信息以及運(yùn)動相關(guān)性等運(yùn)動學(xué)信息，我們對3D運(yùn)動庫中的數(shù)據(jù)建立時空模型。即建立各個定長數(shù)據(jù)段之間的空間結(jié)構(gòu)相似度模型以及時間概率轉(zhuǎn)移模型。 以運(yùn)動庫時空模型為基礎(chǔ)，結(jié)合人體姿態(tài)重構(gòu)，我們提出了一種3D連續(xù)運(yùn)動生成方法。該方法包括預(yù)處理、運(yùn)動庫建模，以及連續(xù)運(yùn)動生成3個階段。在預(yù)處理階段，首先根據(jù)運(yùn)動庫的數(shù)據(jù)采集幀率與視頻幀率的比例對3D運(yùn)動庫中的

10、數(shù)據(jù)進(jìn)行下采樣(down-sampie)，然后對3D運(yùn)動庫中的連續(xù)數(shù)據(jù)進(jìn)行定長分段，同時，對待重構(gòu)的視頻序列也進(jìn)行同樣的分段處理。然后，在建模階段，我們對運(yùn)動數(shù)據(jù)庫進(jìn)行時空建模。在連續(xù)運(yùn)動生成階段，對于輸入的視頻序列，以3D人體姿態(tài)重構(gòu)為基礎(chǔ)，以3D運(yùn)動庫的時—空模型為指導(dǎo)，就可以進(jìn)行自動化的人體運(yùn)動重構(gòu)，從而得到連續(xù)的3D人體運(yùn)動信息。通過對重構(gòu)結(jié)果的量化分析以及與真實3D運(yùn)動數(shù)據(jù)的對比，證明了重構(gòu)的運(yùn)動數(shù)據(jù)不僅具有良好的運(yùn)動相關(guān)性，