基于Kinect的中國手語識別研究.pdf

1、手語是聾啞人通過手和手臂，同時輔助頭部動作、臉部表情和肢體姿態(tài)進行交流的語言。手語識別利用模式識別技術，通過分析手和手臂的動作特征，并將特征序列作為分類器的輸入進行分類識別任務，最終將手語翻譯為文字或者聲音輸出，實現(xiàn)聽力障礙人群和正常人的正常交流。本文主要研究中國手語識別。
　　本文利用Kinect攝像頭進行手語識別，立足于交互方式上的改變，結合Kinect提供的深度數(shù)據(jù)和人體骨骼點數(shù)據(jù)，探討了手語特征提取和融合;針對獨立詞手語和

2、連續(xù)手語采用不同的分類器識別，極限學習機(Extreme LearningMachine，ELM)算法用于獨立詞識別效果較好，條件隨機場(Conditional RandomFields，CRF)及其分支理論潛在動態(tài)條件隨機場(Latent Dynamic ConditionalRandom Fields，LDCRF)常用于自然語言序列處理，本文嘗試將其用于解決連續(xù)手語分割和識別的問題，主要工作如下:
　　首先，分析了手語識別問題

3、的研究背景和意義，綜述了目前手語識別研究的國內外現(xiàn)狀以及存在的主要問題，介紹了本文的主要內容和章節(jié)框架。
　　第二，研究了基于Kinect的手語數(shù)據(jù)獲取和預處理。手語數(shù)據(jù)獲取的方式主要有攝像頭，數(shù)據(jù)手套或者其他傳感器。本文先后利用微軟的Kinect V1和V2攝像頭及其SDK，擺脫了數(shù)據(jù)手套和其他傳感器的束縛，實現(xiàn)更加自然的人機交互?；谑终Z表達的運動特點，我們選取了手、大拇指、手腕和手肘人體骨骼點的空間運動信息作為手語的原始數(shù)據(jù)

4、。
　　第三，研究手語特征提取和分類識別。特征選取對手語識別的精度至關重要，也是模式識別中的重要組成部分?；贙inect提供的深度圖像和人體骨骼點數(shù)據(jù)，分別提取了右手單手和雙手的手部3D運動軌跡和手形兩個方面的特征表示，并將單一特征和融合特征作為后續(xù)分類器的輸入。分類識別方面，比較了SVM和ELM兩種算法，最終選擇更高效的ELM方法作為分類器。為了驗證本文特征選擇和分類器的有效性，建立并發(fā)布了包含20類手語詞的數(shù)據(jù)集。實驗結果表