基于認知信息的手勢交互方法研究.pdf

1、隨著計算機各方面技術(shù)的發(fā)展，傳統(tǒng)的人機交互方式正面臨著巨大的挑戰(zhàn)，自然與和諧的交互方式是未來人機交互發(fā)展的方向。手勢作為日常生活中被廣泛使用的交流方式，不僅包含強大語義，而且還能直觀的表現(xiàn)交互意圖，因此手勢交互是重要人機交互方式之一?；谝曈X的手勢交互以其自然友好的交互方式最符合人類的交互習(xí)慣，從而使得基于視覺的手勢交互成為人機交互方面的研究熱點。
　　本論文依托國家自然科學(xué)基金(No.61173079，No.60973093)，

2、山東省自然科學(xué)基金重點項目(ZR2011FZ003)等，以減少用戶認知負擔(dān)為出發(fā)點，對手勢交互進行了全新的研究。怎樣減少手勢交互過程中認知負擔(dān)是本論文研究的重點。認知信息作為以暗示，隱喻，或明確的方式幫助用戶完成操作的信息，能夠幫助減少用戶認知負擔(dān)，因此本文研究重點是認知信息以及怎樣將認知信息應(yīng)用到具體的手勢交互中。
　　本文主要分析了虛擬裝配平臺下手勢交互的認知信息，并將認知信息應(yīng)用到具體的手勢交互過程中。首先從總體上研究認知信

3、息的概念、分類以及可視化，并對各種類型認知信息進行具體挖掘分析;接著根據(jù)各類認知信息的特性將其應(yīng)用到物體選擇、碰撞檢測以及糾錯處理等交互過程中，從而減少這幾個交互過程的認知負擔(dān)。本文主要工作如下:
　　1、實現(xiàn)復(fù)雜背景下的手勢分割與手勢跟蹤。利用基于亮度索引和特征向量的膚色模型進行手勢分割，使得手勢分割在室內(nèi)穩(wěn)定光照具有很好的魯棒性。手勢跟蹤將傳統(tǒng)粒子濾波中的隨機采樣轉(zhuǎn)變?yōu)楦咚共蓸樱?quán)值進行優(yōu)化，改善了跟蹤的精度。
　　

4、2、分析虛擬裝配平臺下手勢交互的認知信息。在對認知信息進行分類基礎(chǔ)上，分析總結(jié)了各類認知信息在手勢交互中的特點以及其對手勢交互的作用，并給出部分認知信息組織獲取的方法，以及尋找最佳認知信息可視化的方法。
　　3、提出一種虛擬裝配平臺下的導(dǎo)航信息模型，此模型通過場景信息和三維手勢狀態(tài)信息產(chǎn)生導(dǎo)航信息，并將導(dǎo)航信息可視化，從而引導(dǎo)手勢交互的進行。并利用此導(dǎo)航信息模型提出了新的物體選擇和碰撞檢測算法，不僅使得在進行物體選擇和碰撞檢測時用

5、時較少，增強了交互的實時性，更重要的是減少了用戶在手勢交互中的認知負擔(dān)。
　　4、提出一種自我反饋糾錯算法，首先劃分手勢交互的過程，并建立場景信息庫和手勢狀態(tài)信息庫，其次，將各子過程的起始位置的手勢狀態(tài)信息和場景信息存入對應(yīng)的信息庫，并分別建立手勢狀態(tài)時序表和場景信息時序表，最后通過訪問手勢狀態(tài)時序表和場景信息時序表來實現(xiàn)回退操作。通過建立場景信息庫和手勢狀態(tài)信息庫，避免手勢交互過程中信息的冗余，通過劃分交互過程，使得回退過程中以