基于Kinect的孤立詞手語識別系統(tǒng)研究.pdf

1、手語識別是通過計算機技術(shù)識別翻譯出手語動作的過程，是人機交互領(lǐng)域的一項重要研究分支。聾啞人與正常人間所存在的溝通交流障礙的現(xiàn)狀以及對人機交互方式的自然性和便捷性的越來越高的要求，研究手語識別技術(shù)并將它應(yīng)用到現(xiàn)實中顯得日益重要。聾啞人交流中使用的連續(xù)手語句子由孤立手語詞組成，研究孤立詞手語識別是構(gòu)建連續(xù)語句手語識別系統(tǒng)的基礎(chǔ)和前提，具有重要的研究價值。
　　體感設(shè)備Kinect能夠輸出彩色圖像和深度圖像并捕獲人體各關(guān)節(jié)運動，相比傳統(tǒng)

2、的手語數(shù)據(jù)采集裝置更具優(yōu)勢。本文在以Kinect為輸入的基礎(chǔ)上對孤立詞手語識別進(jìn)行了研究，并實現(xiàn)孤立詞手語識別系統(tǒng)。本文的主要研究內(nèi)容包括:
　　1.區(qū)分性手語特征量提取。通過分析Kinect原始骨骼跟蹤信息和彩色圖像信息，設(shè)計出包含軌跡特征和手形特征的手語特征量，軌跡特征為原始軌跡點經(jīng)過速度、尺度和位置歸一化得到，手形特征包括灰度、SURF(Speed-Up RobustFeatures)和HOG(Histogram Of Gr

3、adients)特征。
　　2.本文引入?yún)^(qū)分性字典學(xué)習(xí)和稀疏表示的識別算法并將其應(yīng)用在孤立詞手語識別中，在此基礎(chǔ)上提出一種基于聯(lián)合字典的改進(jìn)的分類算法，該分類算法能充分利用已訓(xùn)練出聯(lián)合字典中的區(qū)分性信息，提高分類正確率。
　　3.孤立詞手語識別系統(tǒng)。本文設(shè)計實現(xiàn)了一個實時有效的孤立詞手語識別系統(tǒng)，該識別系統(tǒng)在論文所采集的72個孤立手語詞數(shù)據(jù)集上平均識別準(zhǔn)確率為98.61％。
　　文章設(shè)計了一系列實驗用于驗證手語特征量和