基于認(rèn)知模型的運(yùn)動(dòng)人手三維跟蹤方法研究.pdf

1、通過(guò)視覺(jué)計(jì)算對(duì)視頻圖像序列中的運(yùn)動(dòng)人手的姿態(tài)進(jìn)行估計(jì)、3D跟蹤，是人機(jī)交互(Human Comouter Interaction, HCI)研究中的一個(gè)基礎(chǔ)性和關(guān)鍵性的課題，主要涉及到計(jì)算機(jī)視覺(jué)、人機(jī)交互理論、預(yù)測(cè)估計(jì)方法學(xué)等眾多交叉學(xué)科，對(duì)其進(jìn)行深入研究，對(duì)于深化智能人機(jī)交互理論和應(yīng)用，推進(jìn)相關(guān)學(xué)科的發(fā)展具有重要意義。
　　 單目視覺(jué)條件下基于模型的運(yùn)動(dòng)人手三維跟蹤的主要目的是：連續(xù)獲取手勢(shì)幀圖像相對(duì)應(yīng)的三維手勢(shì)的位置和姿態(tài)，

2、為實(shí)現(xiàn)自然、和諧的人機(jī)交互打下良好的基礎(chǔ)。其跟蹤方法的本質(zhì)主要是依據(jù)k-1時(shí)刻的3D手勢(shì)模型參數(shù)和第k時(shí)刻的手勢(shì)幀圖像的數(shù)據(jù)信息，預(yù)測(cè)k時(shí)刻的3D手勢(shì)，從而達(dá)到跟蹤的目的?；谀Ｐ偷母櫡椒ㄌ攸c(diǎn)在于建立3D手勢(shì)模型特征和手勢(shì)圖像特征之間的映射關(guān)系，利用觀察到的手勢(shì)圖像特征與3D手勢(shì)模型進(jìn)行相似性度量從而確定誤差最小的模型參數(shù)，本質(zhì)上是一個(gè)在高維空間進(jìn)行搜索和匹配的問(wèn)題。然而由于人手是一個(gè)復(fù)雜的非剛性的多鏈接物體，且手勢(shì)本身具有多義性、多

3、樣性以及在時(shí)間和空間上存在差異性的特點(diǎn)，并且人手具有高自由度，手勢(shì)的這種高維狀態(tài)表達(dá)是姿態(tài)估計(jì)中有效全局搜索真實(shí)手勢(shì)的最大障礙，假設(shè)運(yùn)動(dòng)過(guò)程中每個(gè)手勢(shì)自由度只有兩個(gè)變化趨勢(shì)，那么對(duì)于具有33個(gè)自由度的人手來(lái)說(shuō)，每次運(yùn)算量為233，搜索真實(shí)手勢(shì)時(shí)容易陷入“維數(shù)災(zāi)難”的陷阱，使手勢(shì)跟蹤實(shí)時(shí)性成為一個(gè)遙不可及的事情。
　　 本文結(jié)合計(jì)算機(jī)科學(xué)和認(rèn)知心理學(xué)等相關(guān)學(xué)科，對(duì)3D運(yùn)動(dòng)人手跟蹤進(jìn)行多學(xué)科的交叉討論和研究，提出了基于認(rèn)知模型的運(yùn)動(dòng)

4、人手的三維跟蹤方法。
　　 主要對(duì)以下幾個(gè)關(guān)鍵問(wèn)題進(jìn)行了研究：
　　 (1)復(fù)雜背景下基于空間分布特征的的手勢(shì)識(shí)別。
　　 手勢(shì)識(shí)別是先進(jìn)入機(jī)交互研究的一項(xiàng)關(guān)鍵技術(shù)。基于自然人手的新型的人機(jī)交互理論和應(yīng)用中，要求用戶(hù)的手勢(shì)能處于自然狀態(tài)，使人能夠以自然的方法進(jìn)行人機(jī)交互。
　　 本文作者結(jié)合手勢(shì)的全局特征和局部特征對(duì)手勢(shì)進(jìn)行了更為全面的描述，并且在識(shí)別過(guò)程中引入“搜索窗口”和“隨機(jī)采樣機(jī)制”?！八阉鞔翱凇?/p>

5、的引入，實(shí)現(xiàn)了準(zhǔn)確定位一定尺寸的只包含手勢(shì)區(qū)域的“搜索窗口”，后續(xù)的識(shí)別過(guò)程僅在該“搜索窗口”內(nèi)進(jìn)行。一方面縮小了預(yù)處理范圍，減少了不必要的計(jì)算過(guò)程，提高了識(shí)別速度；另一方面，避免了噪聲點(diǎn)和類(lèi)膚色的干擾，能夠做到有大量噪聲點(diǎn)和人臉干擾時(shí)正確識(shí)別手勢(shì)，提高識(shí)別率：結(jié)合手勢(shì)的形狀特征引入的隨機(jī)采樣，提高了手勢(shì)識(shí)別速率。本算法不僅能識(shí)別總體區(qū)分度比較小的手勢(shì)，且能夠識(shí)別存在一定彎曲程度的手勢(shì)，為和諧、自然的人機(jī)交互創(chuàng)下了基本條件。
　　

6、 (2)提出了基于認(rèn)知模型的運(yùn)動(dòng)人手的三維跟蹤方法。
　　 自然人機(jī)交互過(guò)程中，處處都存在著操作者的心理活動(dòng)，該心理活動(dòng)直接影響到操作者的運(yùn)動(dòng)形式，本文運(yùn)動(dòng)人手跟蹤方法以認(rèn)知心理學(xué)、行為科學(xué)等為理論基礎(chǔ)，研究操作者在特定實(shí)驗(yàn)條件下的認(rèn)知心理特征與人手運(yùn)動(dòng)的行為特性。首先，運(yùn)用觀察法、實(shí)驗(yàn)法、口語(yǔ)報(bào)告法等心理學(xué)分析方法研究特定人機(jī)交互條件下不同操作者的認(rèn)知心理特點(diǎn)和手勢(shì)運(yùn)動(dòng)特點(diǎn)，并經(jīng)過(guò)訓(xùn)練使不同的操作者實(shí)現(xiàn)同一個(gè)完整的運(yùn)動(dòng)過(guò)程，

7、并借助于虛擬輔助平臺(tái)獲取運(yùn)動(dòng)數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行認(rèn)知曲線擬合，使手勢(shì)運(yùn)動(dòng)特點(diǎn)具體化，數(shù)字化，為后續(xù)的采樣做鋪墊。并在此基礎(chǔ)上分析數(shù)據(jù)狀態(tài)變化趨勢(shì)，以概率的方式對(duì)運(yùn)動(dòng)手勢(shì)數(shù)據(jù)進(jìn)行分類(lèi)，為粒子濾波采樣方法提供了一種高效，統(tǒng)一的數(shù)學(xué)認(rèn)知模型，以此為基礎(chǔ)的采樣算法可以避免盲目的搜索，實(shí)現(xiàn)高維空間下跟蹤手勢(shì)全自由度的運(yùn)動(dòng)姿態(tài)時(shí)減少對(duì)動(dòng)態(tài)模型的依賴(lài)，而是更多地信任認(rèn)知模型提供的運(yùn)動(dòng)線索，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)濾波算法相比，基于認(rèn)知模型的手勢(shì)跟蹤算法可