基于視頻的三維人體運(yùn)動(dòng)捕獲方法研究.pdf

1、基于視頻的人體運(yùn)動(dòng)分析是近年來模式識(shí)別、智能人機(jī)接口以及虛擬現(xiàn)實(shí)等研究領(lǐng)域中一個(gè)備受關(guān)注的前沿方向。它不僅具有重要的研究意義，而且在智能監(jiān)控、體育運(yùn)動(dòng)分析、動(dòng)畫生成等方面具有廣闊的應(yīng)用前景。因此，它吸引了越來越多的研究者的興趣?；谝曨l的人體運(yùn)動(dòng)分析的主要目的，是從一組包含人的視頻圖像序列中檢測、識(shí)別、跟蹤人體行為，并對其進(jìn)行分析和理解。其中，運(yùn)動(dòng)檢測和運(yùn)動(dòng)跟蹤等屬于底層視覺問題，而行為的理解和描述屬于高層視覺問題。 本文針對基

2、于視頻的人體運(yùn)動(dòng)分析中的人體運(yùn)動(dòng)的行為理解的視覺問題，即人體運(yùn)動(dòng)捕獲進(jìn)行了研究，重點(diǎn)研究如何從蹦床、體操等復(fù)雜高動(dòng)態(tài)視頻中提取人體3D運(yùn)動(dòng)信息。創(chuàng)新之處如下： 1、在總體思想與方法上，提出了一種新的基于視頻的3D人體運(yùn)動(dòng)生成方法 從運(yùn)動(dòng)視頻中獲取人體的3D運(yùn)動(dòng)信息是一個(gè)非常困難的問題。目前國內(nèi)外的研究成果，都是只能對特定條件下采集的運(yùn)動(dòng)視頻進(jìn)行處理，并且只能針對例如走，跑步等簡單的周期性運(yùn)動(dòng)類型。我們針對記錄人體復(fù)雜運(yùn)動(dòng)

3、的高動(dòng)態(tài)運(yùn)動(dòng)視頻，進(jìn)行了基于視頻的3D運(yùn)動(dòng)信息生成的研究，旨在得到3D人體運(yùn)動(dòng)數(shù)據(jù)的精確、整體描述。在研究策略中，我們加入了一些基于領(lǐng)域的知識(shí)，即，針對某種運(yùn)動(dòng)類型，充分利用基于領(lǐng)域內(nèi)采集的3D運(yùn)動(dòng)數(shù)據(jù)庫，同時(shí)，采用視頻圖像處理與學(xué)習(xí)策略相結(jié)合的策略來提取視頻中的人體3D運(yùn)動(dòng)信息。我們選用蹦床運(yùn)動(dòng)視頻作為研究實(shí)例，并通過大量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文的方法避免了攝像機(jī)定標(biāo)的繁瑣計(jì)算過程，能對任意給定的運(yùn)動(dòng)視頻進(jìn)行處理；其次，

4、由于采用基于領(lǐng)域的學(xué)習(xí)策略，與現(xiàn)有方法相比，本文的方法在計(jì)算穩(wěn)定性與結(jié)果精度方面都有了很大的提高：重構(gòu)效率可以達(dá)到次線性級(jí)fsub-linear)，能基本滿足實(shí)時(shí)處理的要求；同時(shí)，經(jīng)過量化測試，在輸入視頻數(shù)據(jù)較為理想的情況下，姿態(tài)重構(gòu)的成功率穩(wěn)定在97％以上；而且算法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構(gòu)成功率也可以達(dá)到94.5％。在此基礎(chǔ)上獲取的連續(xù)3D人體運(yùn)動(dòng)數(shù)據(jù)也體現(xiàn)了良好的運(yùn)動(dòng)相關(guān)性和物理真實(shí)性

5、。 2、提出了一種基于輪廓相似性匹配的人體姿態(tài)重構(gòu)方法 3D人體姿態(tài)重構(gòu)是基于視頻的3D人體運(yùn)動(dòng)生成的基礎(chǔ)。本文中，我們提出了一種改進(jìn)的基于輪廓相似性匹配的人體姿態(tài)重構(gòu)方法。該方法將經(jīng)典的Hu矩不變量與仿射矩不變量(AMIs)相結(jié)合。實(shí)踐證明，與經(jīng)典的Hu矩方法相比，基于Hu矩不變量與仿射矩不變量(AMIs)相結(jié)合的方法不僅修正了：Hu矩方法中由于旋轉(zhuǎn)不變性所導(dǎo)致的誤差，而且計(jì)算的總體效率也提高了10％以上。 為

6、了進(jìn)一步提高姿態(tài)重構(gòu)的精度和計(jì)算效率，我們采用基于EMD(Earth-Mover'sDistance)的方法進(jìn)行優(yōu)化處理；同時(shí)，為了加快執(zhí)行效率，我們用LSH(Local-SensitiveHashing)來對數(shù)據(jù)庫建立索引；另外，為了提高匹配結(jié)果對輪廓噪聲的魯棒性，我們對輪廓特征引入形狀上下文(Shape Context)的描述。實(shí)驗(yàn)表明，經(jīng)過這一系列的優(yōu)化處理以后，在輪廓提取質(zhì)量較為理想的情況下，姿態(tài)重構(gòu)的成功率穩(wěn)定在97％以上，該

7、方法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構(gòu)成功率也可以達(dá)到94.5％。執(zhí)行效率更是達(dá)到次線性級(jí)(sub-1inear)，能基本滿足基于視頻的人體姿態(tài)重構(gòu)中實(shí)時(shí)處理的要求。 3、提出了一種基于視頻內(nèi)容的3D人體姿態(tài)求精方法 所謂基于視頻內(nèi)容的3D人體姿態(tài)求精，就是在已知初始人體3D姿態(tài)信息的基礎(chǔ)上，根據(jù)視頻中人體輪廓信息，將初始人體3D姿態(tài)進(jìn)行變形，從而得到與視頻中對應(yīng)的精確的3D人體結(jié)構(gòu)

8、信息。在我們的實(shí)際應(yīng)用中，我們結(jié)合基于點(diǎn)集的輪廓匹配方法，同時(shí)綜合利用2D骨架信息，來解決基于視頻內(nèi)容的人體姿態(tài)求精問題。實(shí)驗(yàn)結(jié)果表明，與目前國內(nèi)外現(xiàn)有方法相比，我們的方法不僅能夠保證處理結(jié)果的精度，而且只需要通過簡單高效的2D運(yùn)算就可以實(shí)現(xiàn)變形求精。另外，我們的變形技術(shù)是基于通用的處理框架，可用于各種類型的已知初始3D信息的運(yùn)動(dòng)對象的姿態(tài)求精處理，體現(xiàn)了良好的通用性。 4、提出了一個(gè)基于3D運(yùn)動(dòng)庫的時(shí)空模型，并以此為基礎(chǔ)，提出

9、了一種3D連續(xù)運(yùn)動(dòng)生成方法 為了充分利用3D運(yùn)動(dòng)數(shù)據(jù)庫中所蘊(yùn)含的豐富的人體結(jié)構(gòu)信息以及運(yùn)動(dòng)相關(guān)性等運(yùn)動(dòng)學(xué)信息，我們對3D運(yùn)動(dòng)庫中的數(shù)據(jù)建立時(shí)空模型。即建立各個(gè)定長數(shù)據(jù)段之間的空間結(jié)構(gòu)相似度模型以及時(shí)間概率轉(zhuǎn)移模型。 以運(yùn)動(dòng)庫時(shí)空模型為基礎(chǔ)，結(jié)合人體姿態(tài)重構(gòu)，我們提出了一種3D連續(xù)運(yùn)動(dòng)生成方法。該方法包括預(yù)處理、運(yùn)動(dòng)庫建模，以及連續(xù)運(yùn)動(dòng)生成3個(gè)階段。在預(yù)處理階段，首先根據(jù)運(yùn)動(dòng)庫的數(shù)據(jù)采集幀率與視頻幀率的比例對3D運(yùn)動(dòng)庫中的

10、數(shù)據(jù)進(jìn)行下采樣(down-sampie)，然后對3D運(yùn)動(dòng)庫中的連續(xù)數(shù)據(jù)進(jìn)行定長分段，同時(shí)，對待重構(gòu)的視頻序列也進(jìn)行同樣的分段處理。然后，在建模階段，我們對運(yùn)動(dòng)數(shù)據(jù)庫進(jìn)行時(shí)空建模。在連續(xù)運(yùn)動(dòng)生成階段，對于輸入的視頻序列，以3D人體姿態(tài)重構(gòu)為基礎(chǔ)，以3D運(yùn)動(dòng)庫的時(shí)—空模型為指導(dǎo)，就可以進(jìn)行自動(dòng)化的人體運(yùn)動(dòng)重構(gòu)，從而得到連續(xù)的3D人體運(yùn)動(dòng)信息。通過對重構(gòu)結(jié)果的量化分析以及與真實(shí)3D運(yùn)動(dòng)數(shù)據(jù)的對比，證明了重構(gòu)的運(yùn)動(dòng)數(shù)據(jù)不僅具有良好的運(yùn)動(dòng)相關(guān)性，