基于交互分析的人手三維跟蹤方法研究.pdf

1、基于自然人手的交互界面是近年來人機交互領(lǐng)域(HCI)的一個研究熱點,運動人手的三維跟蹤技術(shù)則是其中一個關(guān)鍵性和基礎(chǔ)性問題。對該課題的深入研究,不僅是對人機交互理論及應(yīng)用的進(jìn)一步推進(jìn),更是對其所涉及的諸如人工智能、計算機視覺、人機交互理論及虛擬現(xiàn)實等交叉學(xué)科的實際應(yīng)用有著重要意義。
　　 基于交互分析的人手三維跟蹤的主要任務(wù),是通過攝像頭對人手運動進(jìn)行連續(xù)捕捉,利用對手勢的交互分析及跟蹤理論進(jìn)行指導(dǎo),在計算機中重構(gòu)出與之相對應(yīng)的三

2、維人手的位置和姿態(tài),“亦步亦趨”的實現(xiàn)真實人手的各種動作,為更加自然方便的基于自然人手的人機交互界面的實現(xiàn)奠定良好基礎(chǔ)。本課題側(cè)重于單目視覺條件下的人手三維跟蹤,其本質(zhì)在于利用t-1時刻三維人手模型參數(shù)和當(dāng)前t時刻幀圖像中的手勢觀測信息,對t時刻的三維人手模型的各個參數(shù)進(jìn)行濾波和預(yù)測,以達(dá)到對人手跟蹤之目的。
　　 相對于人手二維跟蹤,三維跟蹤技術(shù)中存在著更多的技術(shù)難點。因為人手是多關(guān)節(jié)的非剛性復(fù)雜物體,有著較高的自由度(deg

3、ree of freedom,DOF),一般可達(dá)26個自由度,在人手的運動過程中,手掌和手指的狀態(tài)不斷發(fā)生著變化,如此高的特征向量維度直接導(dǎo)致了龐大的計算量,致使時間開銷過大,這是制約交互跟蹤中實時性的一個瓶頸。而且,如何從視頻手勢幀圖像中獲取三維人手模型的對應(yīng)參數(shù)本身就是一個具有挑戰(zhàn)性的課題。
　　 本文依托國家自然科學(xué)基金(60773109,60973093)“面向?qū)崟r性和魯棒性的自然人手粒子濾波跟蹤方法研究”以及山東省自然

4、科學(xué)基金(2006G03)“虛擬樣機人機交互界面設(shè)計中自然人手的跟蹤方法研究”等項目,對在運動人手的三維跟蹤技術(shù)中的幾個關(guān)鍵問題進(jìn)行了討論和研究。其中,重點對人手的運動過程進(jìn)行交互分析,建立與該階段相應(yīng)的交互模型對跟蹤進(jìn)行指導(dǎo)和約束,以達(dá)到改善跟蹤精度和實時性的目的。以下是本文的創(chuàng)新貢獻(xiàn):
　　 1、靈活的人手3D模型
　　 良好的人手3D模型是本課題的基礎(chǔ)性工作,首先,利用級聯(lián)坐標(biāo)系的方法詳細(xì)介紹了一種新的手勢模型三維

5、模型的建立,著重改善了傳統(tǒng)大拇指的設(shè)計缺陷,使人手模型在各個自由度都能夠靈活的模擬真實人手的活動;然后,通過對自由運動人手的分析,對數(shù)據(jù)手套和位置跟蹤儀結(jié)合擰制人手模型提出了具體的實現(xiàn)方法。
　　 2、提出了手勢分割及手勢特征提取方法
　　 為了對跟蹤提供較好的手勢觀測特征結(jié)果,提出了一種快速、準(zhǔn)確的復(fù)雜背景下手勢特征檢測方法。首先利用基于膚色亮度的手勢分割方法將手勢提取出來,獲得手勢輪廓,然后針對不同手型利用改進(jìn)的曲率

6、算法對輪廓點進(jìn)行初步篩選,最后通過對候選點區(qū)域內(nèi)分布特點的分析最終確定特征點位置。并進(jìn)一步提出了新的特征點分離算法。與已有算法相比較,主要創(chuàng)新在于提出了基于亮度分布的膚色模型,增強了手勢分割的魯棒性;引入了手型分析尺度和特征點分布分析,對手勢特征位置由粗到精進(jìn)行檢測,改善了算法的精度和時間開銷。
　　 3、提出了基于交互分析的人手三維跟蹤方法
　　 本文提出的跟蹤算法建立在對基于3D手勢的虛擬裝配人機交互系統(tǒng)中對手勢交互

7、行為理解的基礎(chǔ)上,著重對交互過程進(jìn)行分析整理,以基于模型的跟蹤方法為基礎(chǔ),采用“分而治之”的策略將整個交互行為在初始化階段、操作階段和選擇階段逐個分析處理。首先,在初始化階段提出了一種新的自動3D手勢模型參數(shù)初始化方法,通過操作者和計算機之間不斷“相互”調(diào)整最終獲取最佳的3D手勢模型初始參數(shù)。在后兩個階段分別建立相應(yīng)的交互模型對跟蹤算法進(jìn)行指導(dǎo)和約束:在操作階段,通過高斯過程動態(tài)模型方法建立操作階段的交互手勢模型庫;在選擇階段,通過對多

8、種選擇方式進(jìn)行交互分析及對比,選定最佳的選擇動作,對其在軌跡、時間、愉悅度和反饋信息等多角度進(jìn)行建模及優(yōu)化,建立選擇階段的交互模型庫。兩個階段的交互模型作為對本階段粒子濾波算法采樣的約束和指導(dǎo),避免了在高維空間的盲目采樣,從而改善整個裝配過程中的人手運動跟蹤方法的跟蹤精度實時性。
　　 本文在交互分析這一全新角度對運動人手三維跟蹤方法提出一種思路,并通過虛擬裝配平臺與國內(nèi)外其它算法在跟蹤精度和時間消耗等方面進(jìn)行對比,驗證了算法的