運(yùn)動(dòng)人手的三維跟蹤方法研究.pdf

1、運(yùn)動(dòng)人手三維跟蹤是人機(jī)交互(HumanComputerInteraction,HCI)研究中的一個(gè)基礎(chǔ)性和關(guān)鍵性研究課題，它涉及到計(jì)算機(jī)圖形圖象處理、人機(jī)交互理論、計(jì)算機(jī)視覺、射影幾何學(xué)、預(yù)測(cè)估計(jì)方法學(xué)、軟計(jì)算理論等眾多交叉學(xué)科，對(duì)其進(jìn)行深入研究，對(duì)于深化智能HCI的理論和應(yīng)用，尤其是在虛擬現(xiàn)實(shí)中的應(yīng)用，對(duì)于推進(jìn)相關(guān)學(xué)科的應(yīng)用研究，都具有重要意義。 基于模型的運(yùn)動(dòng)人手三維跟蹤的主要任務(wù)是：連續(xù)地獲取與每幀人手圖像相對(duì)應(yīng)的三維人手

2、的姿態(tài)和位置，為實(shí)現(xiàn)和諧、自然、方便的HCI界面打下基礎(chǔ)。在多目視覺條件下，可以根據(jù)對(duì)應(yīng)特征點(diǎn)進(jìn)行三維跟蹤，得到當(dāng)前幀的三維手勢(shì)；在單目視覺條件下，由上一時(shí)刻的三維手勢(shì)和當(dāng)前時(shí)刻的幀圖像，預(yù)測(cè)和濾波當(dāng)前時(shí)刻的三維手勢(shì)。 不僅手勢(shì)本身具有多樣性、多義性以及時(shí)間和空間上的差異性等特點(diǎn)，而且人手是復(fù)雜的多鏈節(jié)體，并且人手具有高自由度以及指骨的尺寸比較小，更由于在人手跟蹤過程中存在自遮擋現(xiàn)象和病態(tài)問題，因此，基于計(jì)算機(jī)視覺的手勢(shì)跟蹤與識(shí)

3、別是一個(gè)極富挑戰(zhàn)性的研究課題，面臨錯(cuò)綜復(fù)雜的矛盾和問題。本研究以“虛擬樣機(jī)若干關(guān)鍵技術(shù)及其典型應(yīng)用研究，國(guó)家863計(jì)劃項(xiàng)目(2002AA411310)”等重大專項(xiàng)為依托，對(duì)基于計(jì)算機(jī)視覺的運(yùn)動(dòng)人手三維跟蹤過程中的一些關(guān)鍵問題進(jìn)行探討。 這些關(guān)鍵問題主要包括：在單目視覺條件下，當(dāng)人手的運(yùn)動(dòng)狀態(tài)發(fā)生突然改變時(shí)，EKF濾波跟蹤器將喪失跟蹤能力；人手自遮擋問題處理方法的時(shí)間開銷和處理精度亟待進(jìn)一步改善；三維人手模型的初始化工作大部分仍然

4、靠手工完成，模型的正確性和精度無法得到保證；基于經(jīng)典模式識(shí)別的理論和方法已經(jīng)不能很好地滿足HCI中識(shí)別形變手勢(shì)之需要。本文主要針對(duì)上述關(guān)鍵性問題展開研究，主要貢獻(xiàn)包括以下幾點(diǎn)： (1)針對(duì)人手運(yùn)動(dòng)狀態(tài)突變情況下運(yùn)動(dòng)跟蹤所存在的問題，提出一種新的強(qiáng)跟蹤濾波算法。 這種強(qiáng)跟蹤濾波器算法的主要特征在于，通過實(shí)時(shí)在線調(diào)整狀態(tài)預(yù)報(bào)誤差的協(xié)方差矩陣，使得輸出殘差始終具有類似白噪聲的性質(zhì)，亦即強(qiáng)跟蹤濾波器已經(jīng)將輸出殘差中的一切有效信息

5、提取出來。為了達(dá)到這種目標(biāo)，引入漸消矩陣，并利用強(qiáng)跟蹤濾波器的充分條件求出該漸消矩陣。本文設(shè)計(jì)的漸消矩陣之主要特點(diǎn)在于，它可以對(duì)預(yù)報(bào)誤差的協(xié)方差矩陣的不同分量進(jìn)行不同控制，從而使得強(qiáng)跟蹤濾波器具有更強(qiáng)的對(duì)運(yùn)動(dòng)人手突變狀態(tài)的跟蹤能力。 此外，分析經(jīng)典EKF濾波算法和相關(guān)強(qiáng)跟蹤濾波算法存在的問題以及產(chǎn)生這些問題的根本原因；研究三維人手模型的初始化方法、獲取被跟蹤特征觀測(cè)值方法、確定人手運(yùn)動(dòng)模型方法；分析和研究經(jīng)典EKF算法、UKF算

6、法以及相關(guān)強(qiáng)跟蹤濾波算法在同等實(shí)驗(yàn)條件下的跟蹤結(jié)果，并與本文算法進(jìn)行比較；將本文跟蹤結(jié)果與數(shù)字手套傳感器數(shù)據(jù)進(jìn)行比較和分析，對(duì)跟蹤算法進(jìn)行評(píng)價(jià)。 (2)提出了一種基于連續(xù)形變理論的手勢(shì)識(shí)別算法，解決了手勢(shì)靈活形變條件下的識(shí)別問題。 連續(xù)形變?nèi)谌肓诵巫兊耐負(fù)湫蕴卣骱瓦^程性特征，通過研究連續(xù)形變的這些基本特征，可以得到判斷連續(xù)形變的基本方法，然后進(jìn)一步研究把這種方法用于形變手勢(shì)識(shí)別問題。重點(diǎn)研究拓?fù)鋵W(xué)中同胚、同構(gòu)等基本概念以

7、及拓?fù)洳蛔冃缘认嚓P(guān)理論，分析連續(xù)形變與這些概念和理論之間的聯(lián)系方式；分析網(wǎng)格圖像與圖像邊界之間的關(guān)系，最后得到連續(xù)形變的充要條件。 (3)提出了一種在單目視覺與單鏡面條件下進(jìn)行人手三維跟蹤的基本方法，解決了三維人手模型的初始化問題。 單目視覺跟蹤和多目視覺跟蹤各具優(yōu)勢(shì)，采用單目視覺與單鏡面體系結(jié)構(gòu)，可以把這兩種優(yōu)勢(shì)相結(jié)合；通過探討空間物點(diǎn)在像平面上的投影、該物點(diǎn)的對(duì)稱點(diǎn)在同一像平面上的投影、鏡面以及該物點(diǎn)本身這四者之間的

8、關(guān)系，得到一種運(yùn)動(dòng)人手跟蹤的新方法。此外，給出獲取鏡面方程的方法、獲取人手特征及其對(duì)應(yīng)關(guān)系的方法，以及在單目視覺與單鏡面體系結(jié)構(gòu)下進(jìn)行相機(jī)校準(zhǔn)的方法。 (4)提出了一種基于改進(jìn)UKF濾波器的人手自遮擋處理方法。 根據(jù)手勢(shì)先驗(yàn)運(yùn)動(dòng)方向重新分配UKF濾波算法中Sigma點(diǎn)的權(quán)值，并且有針對(duì)性地選擇需要修正的跟蹤對(duì)象，避免盲目搜索和修正。把手指作為基本處理對(duì)象，首先對(duì)UKF算法進(jìn)行改進(jìn)，然后利用它對(duì)當(dāng)前手指各關(guān)節(jié)進(jìn)行預(yù)測(cè)；以預(yù)

9、測(cè)值作為初值，用局部搜索技術(shù)對(duì)誤差較大的關(guān)節(jié)用改進(jìn)的UKF算法重新進(jìn)行預(yù)測(cè)，直到該手指在像平面上的投影輪廓和圖像輪廓之間的誤差滿足指定的精度為止。 (5)提出了一種基于拓?fù)浣Y(jié)構(gòu)特征的獲取場(chǎng)景對(duì)應(yīng)特征點(diǎn)的方法。 從拓?fù)浣Y(jié)構(gòu)之間對(duì)應(yīng)關(guān)系這個(gè)角度來描述和討論問題，然后，以分析拓?fù)浣Y(jié)構(gòu)圖中頂點(diǎn)的拓?fù)浣Y(jié)構(gòu)特征作為突破口，求解特征對(duì)應(yīng)關(guān)系。給出從幀圖像中提取壓線格的方法、從壓線格中獲取特征網(wǎng)格的方法以及獲取特征網(wǎng)格鄰接矩陣的方法；分