基于卷積網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的中國(guó)手語(yǔ)詞識(shí)別方法研究.pdf

1、手語(yǔ)識(shí)別是通過(guò)人機(jī)交互技術(shù)(Human Computer Interaction，HCI)將采集到的手語(yǔ)翻譯成文字或者語(yǔ)音，為聽(tīng)障人群提供語(yǔ)言交流上的便利，也為先天性失聰?shù)拿@啞患兒，增添了從小接受良好教育的機(jī)會(huì)。研究手語(yǔ)識(shí)別，構(gòu)建一個(gè)完整的可應(yīng)用系統(tǒng)，能夠保障聽(tīng)障人群的學(xué)習(xí)工作和生活，促進(jìn)社會(huì)和諧發(fā)展，具有重要的社會(huì)現(xiàn)實(shí)意義。除此之外，科技生活也逐漸成為現(xiàn)代人們的一種生活方式，研究基于計(jì)算機(jī)視覺(jué)的手語(yǔ)手勢(shì)識(shí)別作為一種人機(jī)交互模式，也可以

2、給現(xiàn)代人的智能生活帶來(lái)舒適便捷的體驗(yàn)。
　　手語(yǔ)識(shí)別作為一種時(shí)序性任務(wù)，時(shí)序性建模的優(yōu)劣是識(shí)別效果好壞的關(guān)鍵因素。隨著近年來(lái)基于深度學(xué)習(xí)的方法在計(jì)算機(jī)視覺(jué)領(lǐng)域取得的重大發(fā)展和突破，充分展示了卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）的特征提取能力和遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的時(shí)序建模能力。因此，本文根據(jù)Kinect2.0獲取的中國(guó)手語(yǔ)樣本數(shù)據(jù)，利用深度

3、神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建手語(yǔ)識(shí)別框架，本文的主要研究?jī)?nèi)容包括:
　　1.根據(jù)中國(guó)手語(yǔ)詞的可拆分特性及詞內(nèi)的上下文聯(lián)系，我們細(xì)化了手語(yǔ)標(biāo)簽，以中國(guó)漢字作為我們識(shí)別的詞典元素單元，將手語(yǔ)識(shí)別視為一種類似視頻描述的任務(wù)，以特征序列作為輸入，以表達(dá)序列作為輸出，并構(gòu)建了一個(gè)基于CNN和長(zhǎng)短時(shí)記憶單元(Long Short Term Memory，LSTM)的手語(yǔ)識(shí)別框架。通過(guò)CNN提取手語(yǔ)圖片的空間特征，利用LSTM構(gòu)建編碼解碼網(wǎng)絡(luò)，針對(duì)輸入的特征

4、，在編碼端進(jìn)行時(shí)序特征的提取，并傳送到解碼端進(jìn)行詞典元素的解碼。
　　2.我們使用多模信息融合來(lái)進(jìn)一步提升識(shí)別的準(zhǔn)確率。我們將Kinect2.0獲取的三維骨骼點(diǎn)作為手語(yǔ)樣本的軌跡特征，在前述框架的基礎(chǔ)之上，提出了三種多模融合方法。分別為基于特征的融合，固定權(quán)重的模型融合以及自適應(yīng)權(quán)值的模型融合。實(shí)驗(yàn)表明，三種融合方法在識(shí)別性能上均得到提升，其中，自適應(yīng)模型融合方法測(cè)試結(jié)果達(dá)到97.7％。
　　3.一個(gè)手語(yǔ)圖片序列往往存在一些