基于視頻的徒手手語識別方法的研究.pdf

1、隨著計算機性能的逐步提高和各領域對計算機使用的不斷深入,用戶對計算機使用方便程度和人機交互的自然性要求程度越來越高,尤其在虛擬現實和可穿戴計算領域中更為明顯。因此,直觀、自然和友好的多模式人機交互方式很有必要。在日常生活中,人與人之間交流使用的自然語言主要是口語和書面語。除此之外,還有手勢、表情等方式可以在人與人面對面的交流中輔助傳遞信息。而手語則是聾人之間主要的表達方式。手語識別不僅可以為聾人提供幫助,而且也可推動人機交互研究的發(fā)展。

2、
　　 本文主要對基于視覺的手語識別領域中的兩大模塊進行了應用研究:手部區(qū)域跟蹤與手勢特征提取。本文主要的研究工作可以概括為以下三點:
　　 (1)目標模板構建。首先對視頻第一幀圖像進行顏色空間的轉換,然后通過膚色檢測來自動截取感興趣區(qū)域,從而得到膚色模板圖,并建立其H分量直方圖。這樣便解決了連續(xù)自適應均值漂移(CamShiit)算法的半自動化問題,為后續(xù)的手部區(qū)域跟蹤打好了基礎。
　　 (2)手部區(qū)域跟蹤。主要

3、研究了連續(xù)自適應均值漂移(CamShift)算法在手語視頻環(huán)境下的特殊應用,實現了對手語視頻中手部區(qū)域的連續(xù)跟蹤。在保留CamShift算法優(yōu)點的基礎上,對其進行應用改進,使之能夠有效地對視頻中的手部區(qū)域進行自動跟蹤。實驗結果證明了方法的有效性。
　　 (3)手勢特征提取。主要做了手勢特征的提取與分析和手勢特征的訓練識別工作。分別提取了手部區(qū)域的橢圓擬合特征與感興趣區(qū)域的邊緣方向直方圖特征。用橢圓擬合特征作為手部的位置面積方向特