基于深度圖像序列的三維人手運(yùn)動(dòng)跟蹤技術(shù)研究.pdf

1、通過(guò)計(jì)算機(jī)視覺(jué)手段來(lái)對(duì)人手運(yùn)動(dòng)進(jìn)行分析是一個(gè)重要的研究課題，其研究?jī)?nèi)容包括人手檢測(cè)、人手運(yùn)動(dòng)狀態(tài)估計(jì)和行為識(shí)別，涉及圖像處理、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、模式識(shí)別和人工智能等多個(gè)學(xué)科領(lǐng)域。人手運(yùn)動(dòng)的視覺(jué)分析具有廣闊的應(yīng)用前景，其研究成果可以應(yīng)用于虛擬現(xiàn)實(shí)、三維動(dòng)畫(huà)、機(jī)器人模仿學(xué)習(xí)、高級(jí)人機(jī)交互、運(yùn)動(dòng)生物力學(xué)等多個(gè)領(lǐng)域。
　　本文主要研究人手運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題，即從視覺(jué)觀測(cè)估計(jì)出人手的全局位姿和各局部關(guān)節(jié)角度的狀態(tài)。人手運(yùn)動(dòng)狀態(tài)的估計(jì)是

2、人手運(yùn)動(dòng)分析的核心問(wèn)題，是對(duì)人的行為進(jìn)行準(zhǔn)確識(shí)別的基礎(chǔ)。本文中的運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題針對(duì)的是一個(gè)視頻圖像序列，在人手運(yùn)動(dòng)具有連貫性的假設(shè)下，通過(guò)狀態(tài)轉(zhuǎn)移模型的引入，將針對(duì)單幀的運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題轉(zhuǎn)化為時(shí)間序列上的一個(gè)運(yùn)動(dòng)跟蹤問(wèn)題。
　　通過(guò)計(jì)算機(jī)視覺(jué)來(lái)進(jìn)行多關(guān)節(jié)人手運(yùn)動(dòng)跟蹤是十分具有挑戰(zhàn)性的，其開(kāi)發(fā)受困于多個(gè)復(fù)雜因素。高維的狀態(tài)空間給全局最優(yōu)的搜索帶來(lái)了困難，導(dǎo)致了龐大的計(jì)算量;人手運(yùn)動(dòng)過(guò)程中頻繁發(fā)生的自遮擋，會(huì)導(dǎo)致觀測(cè)的歧義性，造成人

3、手狀態(tài)概率密度的多峰分布，加大全局最優(yōu)的搜索難度;人手運(yùn)動(dòng)跟蹤的狀態(tài)轉(zhuǎn)移過(guò)程和觀測(cè)過(guò)程均是非線(xiàn)性的，這要求跟蹤算法必須具有解決非線(xiàn)性問(wèn)題的能力。
　　一個(gè)有效的人手運(yùn)動(dòng)跟蹤方案必須解決以下關(guān)鍵問(wèn)題:(1)構(gòu)建有效的匹配誤差函數(shù)。匹配誤差函數(shù)用于描述人手姿態(tài)向量與觀測(cè)特征之間的匹配程度，它的構(gòu)建是人手運(yùn)動(dòng)跟蹤的基礎(chǔ)，直接決定跟蹤過(guò)程中全局最優(yōu)的搜索難度。好的匹配誤差函數(shù)能夠有效平滑全局最優(yōu)附近的局部極小值，降低全局最優(yōu)的搜索難度。(

4、2)開(kāi)發(fā)有效的搜索方法。高維的狀態(tài)空間和多峰的概率分布對(duì)搜索方法的尋優(yōu)能力提出了很高的要求，搜索方法必須有較快的收斂速度，同時(shí)又必須具備一定的魯棒性，能夠跳出局部極小值，最終找到全局最優(yōu)。
　　圍繞上述問(wèn)題，國(guó)內(nèi)外的研究者們進(jìn)行了大量的研究，然而，目前為止的研究成果還難以同時(shí)滿(mǎn)足人手運(yùn)動(dòng)跟蹤實(shí)時(shí)性、準(zhǔn)確性和魯棒性的要求，離實(shí)際應(yīng)用還有一段距離。本文以深度圖像序列作為觀測(cè)輸入，基于改進(jìn)的粒子濾波算法，對(duì)無(wú)標(biāo)記三維人手運(yùn)動(dòng)跟蹤的相關(guān)技

5、術(shù)進(jìn)行了研究。具體來(lái)講，本文完成的主要工作包括以下幾個(gè)方面:
　　(1)建立了作為三維人手運(yùn)動(dòng)跟蹤基礎(chǔ)的人手模型和觀測(cè)模型。本文建立了26自由度的人手運(yùn)動(dòng)學(xué)模型，并根據(jù)解剖學(xué)因素對(duì)其施加了運(yùn)動(dòng)學(xué)約束。為平衡模型精確度和計(jì)算復(fù)雜度，本文以基本幾何基元建立了人手形狀模型。本文采用Kinect深度相機(jī)來(lái)獲取系統(tǒng)觀測(cè)輸入，采用深度特征信息與區(qū)域特征信息融合的方法構(gòu)建了人手姿勢(shì)假設(shè)對(duì)應(yīng)的模型特征圖像和觀測(cè)特征圖像之間的匹配誤差函數(shù)，建立了觀

6、測(cè)模型。
　　(2)針對(duì)粒子濾波在高維空間中進(jìn)行粒子采樣的困難，將群體智能優(yōu)化方法集成到粒子濾波中，利用其強(qiáng)大的全局優(yōu)化能力改善粒子濾波樣本分布，提出了兩種具體的三維人手跟蹤算法。第一種算法將差分進(jìn)化與粒子濾波結(jié)合，利用差分進(jìn)化對(duì)當(dāng)前觀測(cè)下的匹配誤差的優(yōu)化來(lái)驅(qū)動(dòng)粒子向高似然概率區(qū)域運(yùn)動(dòng);第二種算法將一種現(xiàn)有的粒子群優(yōu)化粒子濾波算法應(yīng)用于高維空間中的人手運(yùn)動(dòng)跟蹤，并針對(duì)人手高維空間中的早熟收斂問(wèn)題，同時(shí)采用模擬退火思想和局部隨機(jī)化技

7、術(shù)對(duì)算法進(jìn)行收斂性改進(jìn)。實(shí)驗(yàn)證明，這兩種算法均能夠有效魯棒地跟蹤三維人手運(yùn)動(dòng)，第二種跟蹤算法的跟蹤精度略?xún)?yōu)于第一種算法。
　　(3)通過(guò)采用同時(shí)為人手和物體建模的方法，研究了人手與物體交互過(guò)程的跟蹤。在現(xiàn)實(shí)世界的許多場(chǎng)景中，人手的活動(dòng)通常是交互性的。其中，最常見(jiàn)的是人手與物體的交互。物體的存在增加了人手運(yùn)動(dòng)分析的復(fù)雜性，而另一方面，物體上下文所攜帶的有用信息會(huì)對(duì)人手運(yùn)動(dòng)的識(shí)別和估計(jì)起到促進(jìn)作用。本文采用基于模型的方法來(lái)跟蹤人手與物

8、體的交互過(guò)程，同時(shí)為人手與物體建立三維模型和運(yùn)動(dòng)模型，并同時(shí)跟蹤三維空間中人手與物體的運(yùn)動(dòng)。本文采用單一深度圖像序列作為觀測(cè)輸入建立了觀測(cè)模型，采用改進(jìn)的粒子群優(yōu)化粒子濾波作為跟蹤算法，最終形成的跟蹤方法能有效跟蹤人手與物體的交互過(guò)程。
　　(4)根據(jù)本文所提出的結(jié)合群體智能優(yōu)化與粒子濾波的跟蹤算法的特點(diǎn)，在充分了解圖形引擎OpenSceneGraph(OSG)內(nèi)部渲染流程和多線(xiàn)程模型的基礎(chǔ)上，通過(guò)采用離屏渲染技術(shù)，開(kāi)發(fā)了兩種基于