基于多傳感器信息檢測(cè)和融合的手語(yǔ)手勢(shì)識(shí)別研究.pdf

1、手語(yǔ)是聾啞人之間進(jìn)行日常交流的主要方式之一。手語(yǔ)識(shí)別研究能夠使聾啞人與外界交流更為便捷。隨著計(jì)算機(jī)性能的逐步提高，近年來(lái)自然的人機(jī)交互逐漸成為一個(gè)研究熱點(diǎn)。通過(guò)自然的人機(jī)交互系統(tǒng)，人們可以利用聲音、表情、手勢(shì)等人類自然語(yǔ)言與計(jì)算機(jī)進(jìn)行交互，實(shí)現(xiàn)類似于人類之間的自然交互方式。手語(yǔ)手勢(shì)識(shí)別研究對(duì)提高計(jì)算機(jī)的人類語(yǔ)言理解水平和發(fā)展多模式人機(jī)接口技術(shù)具有重要意義。
　　 手語(yǔ)通過(guò)手的形狀、位置、運(yùn)動(dòng)、朝向利面部表情等通道表達(dá)特定的信息。

2、表面肌電(surface electromyography，SEMG)電極、加速計(jì)(accelerometer，ACC)和攝像頭能夠從不同角度捕獲這些信息。比如視覺和ACC信號(hào)可以從不同側(cè)面刻畫手勢(shì)的空問運(yùn)動(dòng)軌跡，SEMG可以通過(guò)檢測(cè)肌肉收縮獲得精細(xì)手指運(yùn)動(dòng)信息。因此，我們相信多傳感器信息檢測(cè)和融合技術(shù)能夠提高識(shí)別精度和可識(shí)別手勢(shì)動(dòng)作種類。
　　 為了檢測(cè)手語(yǔ)中包含的豐富信息，本文提出了一種基于多傳感器信息檢測(cè)和融合的手語(yǔ)手勢(shì)

3、識(shí)別方法，以提高多類手語(yǔ)手勢(shì)動(dòng)作的識(shí)別率和擴(kuò)展可識(shí)別詞匯量。
　　 本文主要的研究?jī)?nèi)容和研究成果有：
　　 (1)多傳感器信號(hào)的活動(dòng)段分割。提出了基于64點(diǎn)移動(dòng)平均窗的包括SEMG、ACC和視覺二種傳感器信號(hào)的同步活動(dòng)段檢測(cè)方法。僅利用SEMG信號(hào)的幅值變化信息就能同步提取出二種信號(hào)的活動(dòng)段，減少了檢測(cè)的工作量。
　　 (2)基于動(dòng)靜態(tài)要素的動(dòng)態(tài)手勢(shì)識(shí)別研究。從手勢(shì)的空間形態(tài)上對(duì)手勢(shì)進(jìn)行了分析研究。將動(dòng)態(tài)手勢(shì)拆分

4、為動(dòng)態(tài)要素和靜態(tài)要素識(shí)別單元，分別利用ACC與視覺軌跡信號(hào)和SEMG信號(hào)進(jìn)行描述，采用多流隱馬爾可夫(Hidden MarkovModels，HMM)建模識(shí)別并進(jìn)行整合。實(shí)驗(yàn)結(jié)果表明所提方法縮短了訓(xùn)練和識(shí)別時(shí)間，提高了識(shí)別率。
　　 (3)提出了一種基于多級(jí)分類融合策略的中國(guó)手語(yǔ)識(shí)別方法。首先利用SEMG信號(hào)的幅值信息實(shí)現(xiàn)單雙手詞的劃分，然后借助視覺信號(hào)實(shí)現(xiàn)雙手詞中有遮擋和無(wú)遮擋的劃分，最后利用Sugeno模糊積分對(duì)SEMG、

5、ACC利視覺二種信號(hào)提供的局部決策進(jìn)行融合，得到識(shí)別結(jié)果。該方法充分利用不同類型傳感器在手語(yǔ)信息檢測(cè)方面的優(yōu)勢(shì)，從而提高手語(yǔ)的識(shí)別率，增加識(shí)別種類。針對(duì)201個(gè)高頻手語(yǔ)詞，三個(gè)受試者的識(shí)別率均在99％以上。
　　 (4)基于Visual C++和OpenCV技術(shù)，構(gòu)建了一個(gè)能夠同步獲取SEMG、ACC和視覺二種信號(hào)的數(shù)據(jù)采集跟蹤系統(tǒng)。采用多線程技術(shù)，實(shí)現(xiàn)采集、顯示和保存的同步進(jìn)行；利用系統(tǒng)內(nèi)部嵌入的Camshift運(yùn)動(dòng)跟蹤算法模