基于Kinect和指尖識別的EAST手勢交互系統(tǒng).pdf

1、EAST三維模型結構復雜、部件種類繁多，對于大屏幕上的EAST模型交互，傳統(tǒng)的交互設備如鼠標鍵盤等都需要時刻接觸設備，給用戶帶來不便。無法達到普通小顯示屏給人帶來的交互一致性，同時大屏幕上的交互會帶來強烈的空間差異性，長期觀看容易使人產(chǎn)生疲勞感。三維模型交互比二維界面交互更為復雜，對復雜的EAST三維模型來說，傳統(tǒng)交互方式具有一定的局限性、復雜性和疲勞性。因此我們設計了一種自由、直接的交互方式來減弱空間差異性，降低交互復雜性，避免長期疲

2、勞性的系統(tǒng)—EAST三維模型手勢交互系統(tǒng)。對系統(tǒng)的研究分為三個部分實現(xiàn):需求分析、算法研究實現(xiàn)、系統(tǒng)實現(xiàn)和測試。
　　在需求分析階段，首先對EAST實體裝置的基本情況進行了簡單介紹，從而引出了EAST三維虛擬模型的交互需求。然后針對EAST模型的結構進行了分析和介紹，并以調(diào)查問卷的形式進行交互需求的調(diào)研和分析。通過調(diào)研分析，我們設計了6種手勢，分別是移動、點擊、拾取、旋轉、拖拽、縮放。與此同時，通過查閱和研究國內(nèi)與國外的裸手識別相

3、關資料和文獻，我們最終提出了“基于Kinect和指尖特征”的動態(tài)手勢識別算法。
　　“基于Kinect和指尖特征”的手勢識別算法的實現(xiàn)主要包括4個階段:數(shù)據(jù)采集、區(qū)域分割、特征提取、特征識別。數(shù)據(jù)采集階段我們采用了微軟的Kinect二代傳感器，從Kinect的人體骨骼幀和深度幀提取出人體手部的彩色圖像幀的大致區(qū)域。然后，通過高斯混合模型背景減法，從手部的大致區(qū)域里面去除背景得到手部區(qū)域，再利用橢圓膚色模型算法分割出膚色區(qū)域并通過形

4、態(tài)學開閉運算進行區(qū)域平滑和去噪，從而得到進一步精確的手部區(qū)域。在指尖特征提取之前，先對手部區(qū)域進行輪廓提取，再通過計算手部輪廓的重心和霍夫曼圓圓心的加權平均求得掌心位置，同時在進行輪廓采樣時，我們提出了根據(jù)手部區(qū)域占圖像比例來動態(tài)設置采樣距離的方法，通過計算采樣點的K曲率得到指尖候選點，最后通過指尖和掌心的位置關系和距離因素來排除非指尖點從而得到指尖點。手勢識別我們采用了有限狀態(tài)機的方法。
　　最后，利用該手勢識別算法，基于Uni