基于卷積網(wǎng)絡和長短時記憶網(wǎng)絡的中國手語詞識別方法研究.pdf

1、手語識別是通過人機交互技術(Human Computer Interaction，HCI)將采集到的手語翻譯成文字或者語音，為聽障人群提供語言交流上的便利，也為先天性失聰?shù)拿@啞患兒，增添了從小接受良好教育的機會。研究手語識別，構建一個完整的可應用系統(tǒng)，能夠保障聽障人群的學習工作和生活，促進社會和諧發(fā)展，具有重要的社會現(xiàn)實意義。除此之外，科技生活也逐漸成為現(xiàn)代人們的一種生活方式，研究基于計算機視覺的手語手勢識別作為一種人機交互模式，也可以

2、給現(xiàn)代人的智能生活帶來舒適便捷的體驗。
　　手語識別作為一種時序性任務，時序性建模的優(yōu)劣是識別效果好壞的關鍵因素。隨著近年來基于深度學習的方法在計算機視覺領域取得的重大發(fā)展和突破，充分展示了卷積神經(jīng)網(wǎng)絡（Convolution Neural Network，CNN）的特征提取能力和遞歸神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）的時序建模能力。因此，本文根據(jù)Kinect2.0獲取的中國手語樣本數(shù)據(jù)，利用深度

3、神經(jīng)網(wǎng)絡來構建手語識別框架，本文的主要研究內(nèi)容包括:
　　1.根據(jù)中國手語詞的可拆分特性及詞內(nèi)的上下文聯(lián)系，我們細化了手語標簽，以中國漢字作為我們識別的詞典元素單元，將手語識別視為一種類似視頻描述的任務，以特征序列作為輸入，以表達序列作為輸出，并構建了一個基于CNN和長短時記憶單元(Long Short Term Memory，LSTM)的手語識別框架。通過CNN提取手語圖片的空間特征，利用LSTM構建編碼解碼網(wǎng)絡，針對輸入的特征

4、，在編碼端進行時序特征的提取，并傳送到解碼端進行詞典元素的解碼。
　　2.我們使用多模信息融合來進一步提升識別的準確率。我們將Kinect2.0獲取的三維骨骼點作為手語樣本的軌跡特征，在前述框架的基礎之上，提出了三種多模融合方法。分別為基于特征的融合，固定權重的模型融合以及自適應權值的模型融合。實驗表明，三種融合方法在識別性能上均得到提升，其中，自適應模型融合方法測試結(jié)果達到97.7％。
　　3.一個手語圖片序列往往存在一些