基于運動軌跡和手型特征的手語識別研究.pdf

1、手語是聾啞人日常生活的主要語言，同時也是他們和正常人交流的主要方式之一。而大多數(shù)正常人并未經(jīng)過專業(yè)的手語培訓(xùn)，使得聾啞人無法同其進行無障礙地交流。為了解決這個問題，從上世紀90年代開始便有許多學者開始從事手語識別的研究，旨在將手語動作通過計算機編程實現(xiàn)將其轉(zhuǎn)換為便于正常人理解的文本或者語音信息。因此手語識別具有極大的社會意義。
　　在手語識別領(lǐng)域，有兩個至關(guān)重要的問題。一是如何獲取并設(shè)計魯棒高效的手語動作特征，二是如何對手語動作特

2、征建立魯棒的識別模型。對于第一個問題，從昂貴復(fù)雜的數(shù)據(jù)手套到顏色手套再到體感設(shè)備，數(shù)據(jù)獲取越來越方便可行，特征設(shè)計主要從運動軌跡和手型變化上進行描述。對于第二個問題，對手語動作進行建模識別主要是借鑒于語音識別，利用機器學習理論中的一些模型。例如利用可以計算不等長序列相關(guān)性的動態(tài)時間規(guī)整算法以及機器學習模型支持向量機、高斯混合模型、隱馬爾科夫模型、條件隨機場、人工神經(jīng)網(wǎng)絡(luò)等等。基于此兩個出發(fā)點本文的主要工作可歸納如下:
　　首先，手

3、語動作特征包括手語動作的軌跡特征和手型特征。軌跡特征包括運動的方向，運動軌跡的形狀，以及運動軌跡的位置。手語動作的運動方向利用方向位移直方圖刻畫，將空間分成多個二維平面考慮手部在平面中各個方向的位移量，組合所有方向的直方圖最終對方向信息進行表達。運動軌跡的形狀本文提出采樣形狀上下文描述子進行刻畫，在提取軌跡特征的形狀上下文信息時需要對軌跡進行預(yù)處理，即基于密度的上采樣處理，使得軌跡形狀看起來更加的均勻平滑，最后再對每一個采樣點進行形狀上

4、下文描述子的提取。對于軌跡的位置信息，本文采用非手骨骼點相對于手部骨骼點的位置進行刻畫。在手型描述中，經(jīng)過對視頻信息的預(yù)處理，獲取以手部骨骼點為中心的局部區(qū)域，區(qū)域中包含了手型，再對其提取HOG特征，最終將手語序列的手型特征利用HOG特征序列描述。
　　其次，我們提出的自動確定隱狀態(tài)數(shù)目的FHMM模型可以根據(jù)手語動作本身特性自動確定建模所需參數(shù)。我們利用手型之間的特征差異將視頻中的手分成若干段，其中相似的手型歸為同一段。由于在特征