動態(tài)手勢識別及應用研究.pdf

1、近些年來，隨著計算機技術的不斷發(fā)展，人機交互技術也在日常生活中發(fā)揮著越來越重要的作用。由于傳統(tǒng)的基于鼠標和鍵盤的人機交互技術在使用上的局限性，更加生動自然的基于計算機視覺的人機交互受到了很大程度的關注。其中，由于手勢本身的靈活性和多樣性，使其可以包含非常豐富的信息，而且使用手勢的交互更加符合人們的交流習慣，故其在增強現(xiàn)實、手語識別等中都有廣泛的運用，所以基于計算機視覺的手勢識別是一個很富有挑戰(zhàn)性的課題。
　　傳統(tǒng)的手勢識別技術一般

2、都是基于彩色圖像和灰度圖像信息，本文設計的手勢識別平臺利用的是由深度攝像頭得到的深度圖結合彩色攝像頭得到的彩色圖來進行手勢識別，并且將手勢識別平臺與虛擬現(xiàn)實平臺進行了融合，實現(xiàn)了通過手勢命令控制虛擬現(xiàn)實場景。本文主要分為了五個部分：
　　1.手勢的分割和跟蹤部分，介紹了由Kinect深度攝像頭得到深度圖的原理，并且借助于OpenNI實現(xiàn)了手勢的檢測，利用深度圖像深度特征，排除了背景信息的干擾，實現(xiàn)了手勢的分割。對于手勢的跟蹤，則是

3、通過粒子濾波算法實現(xiàn)。
　　2.靜態(tài)手勢的識別部分，在特征提取階段，選取了傅立葉特征描述子作為靜態(tài)手勢的全局特征描述子和BOF_SURF特征描述子作為靜態(tài)手勢的局部特征描述子，并將它們的融合特征作為手勢的特征，其兼?zhèn)淞藘煞N特征的優(yōu)點，具有了一定的旋轉不變性、平移不變性。在識別階段，通過比較支持向量機和神經(jīng)網(wǎng)絡分類器的優(yōu)劣，最終選取了支持向量機作為靜態(tài)手勢識別的分類器，實現(xiàn)了對于8種普通手型的識別，并且對于手勢的旋轉，平移等有一定的

4、魯棒性。
　　3.指尖檢測的部分，選取了基于凸包的指尖檢測的方法。在由分割出的手勢提取其輪廓后，利用道格拉斯-普克算法進行輪廓的近似，在通過近似輪廓的凸包特征實現(xiàn)了指尖的檢測。
　　4.動態(tài)手勢的識別部分，在特征提取階段，將手心坐標作為手勢的位置，并將手心在空間中運動形成的一系列二維坐標點作為手勢的軌跡，再把相鄰的坐標點間的方向角量化后得到的方向向量作為動態(tài)手勢的特征向量。其中，對于軌跡開始和結束的判斷，則是使用了指尖的個數(shù)

5、作為依據(jù)：當指尖個數(shù)為5時，軌跡開始；當指尖個數(shù)為0時，軌跡結束。在識別階段，則是利用了隱馬爾科夫模型作為分類器，實現(xiàn)了對于10種自定義的動態(tài)軌跡的訓練和識別。
　　5.手勢識別的應用部分，通過手勢識別平臺和虛擬現(xiàn)實平臺的融合，實現(xiàn)了通過手勢命令實現(xiàn)虛擬現(xiàn)實中小島地形的瀏覽和艦艇的航行控制。
　　最后，根據(jù)本文提取的相關算法編寫了相關的手勢識別的軟件，該軟件是基于MFC對話框開發(fā)的，可以實現(xiàn)對于靜態(tài)手勢的識別、指尖的檢測、動