基于單目視覺的非剛體三維運動分析.pdf

1、三維運動視覺分析是計算機視覺中十分活躍的研究領域之一。它以圖像處理研究成果為基礎，主要研究空間中物體的運動情況，通過測量與計算物體特征在圖像平面上的坐標變化，分析場景中運動物體的三維結(jié)構(gòu)，估計物體的運動參數(shù)。目前，它已成為運動圖像處理的重要組成部份。 相對剛體運動而言，現(xiàn)實世界中非剛體運動是一種更常見、更普遍的運動形式。由于非剛體運動的普遍性和多樣性，近年來非剛體運動視覺分析已在許多領域得到了應用，如：農(nóng)業(yè)信息智能處理領域、農(nóng)業(yè)

2、機械智能化領域、農(nóng)業(yè)和食品工業(yè)應用場合、醫(yī)學領域、生物特征識別技術領域等。非剛體運動視覺分析技術不僅可用于農(nóng)業(yè)、農(nóng)業(yè)機械或與農(nóng)業(yè)相關的領域，在別的領域也同樣具有非常廣泛的應用前景。 考慮到農(nóng)業(yè)領域中，連接型和彈性型非剛體運動是更為普遍的非剛體運動形式，因此本文的工作主要面向連接型和彈性型非剛體運動展開，以人體、手指和合成單目動態(tài)圖像序列為研究對象，提出了一些相應的模型和算法，期望為雙足機器人行走步態(tài)控制、多指靈巧手的設計以及其他

3、一些與非剛體運動相關的研究工作提供有效的理論和方法。 全文共分三篇，主要圍繞三維運動分析的基本概念和方法、連接型非剛體運動及結(jié)構(gòu)參數(shù)估計、彈性型非剛體運動及結(jié)構(gòu)參數(shù)估計三方面內(nèi)容展開，主要內(nèi)容安排如下： 第1章闡述了非剛體運動視覺的研究意義，介紹了常見的非剛體運動形式分類方法，分析了現(xiàn)有的連接型非剛體和彈性型非剛體運動分析方法及其存在的不足，提出了本文主要的研究內(nèi)容和研究方法。 第2章介紹了與本文三維運動分析相關

4、的一些基本概念和方法，給出了三維運動分析的主要求解參數(shù)，分析說明了本文以下章節(jié)采用透視投影模型和基于特征對應運動估計方法的理論依據(jù)。 第3章以單目人體運動圖像序列為實驗對象，提出了一種人體三維運動信息恢復方法，該方法分為兩部分：基于遺傳算法和Kalman濾波的二維特征點跟蹤和基于多約束融合的關節(jié)點三維運動分析。在二維特征點跟蹤算法中，將基于Kalman濾波理論的特征點跟蹤方法與遺傳算法有機地結(jié)合在一起，以遺傳算法的運算流程為基本

5、框架，在遺傳算法的個體及適應度函數(shù)設計中，綜合考慮特征點的預測跟蹤結(jié)果、偽特征點、特征點的遮擋以及運動平滑性等因素。在關節(jié)點三維運動軌跡估計方面，綜合考慮了二維圖像坐標與三維空間坐標的透視投影關系、人體運動的局部剛性和平滑性、人體骨骼的生理解剖學知識等因素。實驗結(jié)果表明，利用本章提出的方法可以有效地去除圖像中的偽特征點，恢復出被遮擋特征點的位置，實現(xiàn)圖像序列中特征點的正確匹配，在透視投影模型下，基于剛體約束、結(jié)構(gòu)約束和運動平滑性約束能有

6、效恢復出尺度意義下人的手臂和腿的三維運動軌跡。 第4章以單目手指運動圖像序列為實驗對象，主要研究了基于小平面對應模型的非剛體三維運動估計方法。結(jié)合手指骨架模型的運動特性分析，給出了手指三維運動估計中的運動約束、深度約束和剛體約束方程，利用懲罰方法建立了三維運動估計目標函數(shù)。為解決特征點匹配問題，結(jié)合第3章的特征點Kalman濾波器設計方法，給出了改進的基于塊匹配和Kalman濾波的特征點跟蹤算法。實驗結(jié)果表明，本章提出的方法可以

7、實現(xiàn)圖像序列中特征點的正確匹配，通過對目標函數(shù)的優(yōu)化求解，能有效恢復出手指的三維運動軌跡。 第5章和第6章以彈性型非剛體合成運動圖像序列為研究對象，在假設幀間特征點匹配關系已確立的前提下，將非剛體三維運動參數(shù)求解問題轉(zhuǎn)化為非剛體上特征點的三維運動參數(shù)求解問題，給出了透視投影方式下非剛體的局部仿射運動模型。需要指出的是，該模型也可以用其它合理的運動模型來代替。 第5章探討了基于正則化的非剛體局部三維運動估計方法。將非剛體運

8、動的先驗知識融入到運動估計過程中，分析了正則化運動估計中目標函數(shù)的建立方法。最后，通過Levenberg-Marquart非線性最優(yōu)化方法實現(xiàn)了非剛體的局部運動參數(shù)求解。實驗結(jié)果表明，與不采用正則化的最小二乘估計方法相比，本章提出的方法可以更魯棒地估計出非剛體的局部三維運動參數(shù)。 為了解決正則化方法只能分析非剛體局部三維運動的缺點，第6章在基于MAP-MRF的分析框架中建立了與特征點運動估計相對應的非規(guī)則MRF模型，構(gòu)造了非規(guī)則

9、MRF模型中反映非剛體局部三維運動參數(shù)之間約束關系和運動參數(shù)聯(lián)合概率分布的能量函數(shù)，通過能量函數(shù)最小化估計運動參數(shù)。為提高求解效率并解決解的唯一性問題，建立了分層MRF模型，在較粗層使用最小二乘法，在更細化的層中采用SA算法，并根據(jù)非剛體三維運動估計的特點提出了模擬退火算法的改進方案。實驗結(jié)果表明，本章提出的方法可以魯棒地估計出彈性型非剛體的三維運動參數(shù)。 第7章總結(jié)了本文的研究內(nèi)容，指出了本文的創(chuàng)新點，提出了進一步的研究方向。