基于Kinect的中國(guó)手語(yǔ)識(shí)別研究.pdf

1、手語(yǔ)是聾啞人通過(guò)手和手臂，同時(shí)輔助頭部動(dòng)作、臉部表情和肢體姿態(tài)進(jìn)行交流的語(yǔ)言。手語(yǔ)識(shí)別利用模式識(shí)別技術(shù)，通過(guò)分析手和手臂的動(dòng)作特征，并將特征序列作為分類器的輸入進(jìn)行分類識(shí)別任務(wù)，最終將手語(yǔ)翻譯為文字或者聲音輸出，實(shí)現(xiàn)聽(tīng)力障礙人群和正常人的正常交流。本文主要研究中國(guó)手語(yǔ)識(shí)別。
　　本文利用Kinect攝像頭進(jìn)行手語(yǔ)識(shí)別，立足于交互方式上的改變，結(jié)合Kinect提供的深度數(shù)據(jù)和人體骨骼點(diǎn)數(shù)據(jù)，探討了手語(yǔ)特征提取和融合;針對(duì)獨(dú)立詞手語(yǔ)和

2、連續(xù)手語(yǔ)采用不同的分類器識(shí)別，極限學(xué)習(xí)機(jī)(Extreme LearningMachine，ELM)算法用于獨(dú)立詞識(shí)別效果較好，條件隨機(jī)場(chǎng)(Conditional RandomFields，CRF)及其分支理論潛在動(dòng)態(tài)條件隨機(jī)場(chǎng)(Latent Dynamic ConditionalRandom Fields，LDCRF)常用于自然語(yǔ)言序列處理，本文嘗試將其用于解決連續(xù)手語(yǔ)分割和識(shí)別的問(wèn)題，主要工作如下:
　　首先，分析了手語(yǔ)識(shí)別問(wèn)題

3、的研究背景和意義，綜述了目前手語(yǔ)識(shí)別研究的國(guó)內(nèi)外現(xiàn)狀以及存在的主要問(wèn)題，介紹了本文的主要內(nèi)容和章節(jié)框架。
　　第二，研究了基于Kinect的手語(yǔ)數(shù)據(jù)獲取和預(yù)處理。手語(yǔ)數(shù)據(jù)獲取的方式主要有攝像頭，數(shù)據(jù)手套或者其他傳感器。本文先后利用微軟的Kinect V1和V2攝像頭及其SDK，擺脫了數(shù)據(jù)手套和其他傳感器的束縛，實(shí)現(xiàn)更加自然的人機(jī)交互?；谑终Z(yǔ)表達(dá)的運(yùn)動(dòng)特點(diǎn)，我們選取了手、大拇指、手腕和手肘人體骨骼點(diǎn)的空間運(yùn)動(dòng)信息作為手語(yǔ)的原始數(shù)據(jù)

4、。
　　第三，研究手語(yǔ)特征提取和分類識(shí)別。特征選取對(duì)手語(yǔ)識(shí)別的精度至關(guān)重要，也是模式識(shí)別中的重要組成部分?；贙inect提供的深度圖像和人體骨骼點(diǎn)數(shù)據(jù)，分別提取了右手單手和雙手的手部3D運(yùn)動(dòng)軌跡和手形兩個(gè)方面的特征表示，并將單一特征和融合特征作為后續(xù)分類器的輸入。分類識(shí)別方面，比較了SVM和ELM兩種算法，最終選擇更高效的ELM方法作為分類器。為了驗(yàn)證本文特征選擇和分類器的有效性，建立并發(fā)布了包含20類手語(yǔ)詞的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表