基于表面肌電信號(hào)的人體動(dòng)作識(shí)別與交互.pdf

1、隨著計(jì)算設(shè)備融入人類(lèi)生活環(huán)境的方方面面，真實(shí)世界、數(shù)字世界和作為主體的人成為一個(gè)有機(jī)整體。人與環(huán)境的無(wú)縫溝通和自由互動(dòng)的需求促使了人體動(dòng)作識(shí)別成為未來(lái)多通道多模態(tài)人機(jī)交互研究中的熱點(diǎn)。人體動(dòng)作識(shí)別是指計(jì)算機(jī)自動(dòng)檢測(cè)、分析和理解人體各類(lèi)運(yùn)動(dòng)和行為，如手指、手腕、手臂、頭、面部或身體等姿態(tài)或運(yùn)動(dòng)模式，以判斷人的意圖并提供相應(yīng)服務(wù)的過(guò)程。
　　 人體的任何一個(gè)動(dòng)作都是由多組肌群在神經(jīng)系統(tǒng)的支配下相互協(xié)調(diào)、共同完成的。肌電信號(hào)(EMG)

2、是伴隨肌肉活動(dòng)產(chǎn)生的一種重要的生物電信號(hào)。由表面肌電(SEMG)傳感器在相應(yīng)肌群皮膚表面捕獲的肌肉活動(dòng)信息不但能反映關(guān)節(jié)的伸屈狀態(tài)和伸屈強(qiáng)度，還能反映動(dòng)作完成過(guò)程中肢體的形狀和位置等信息，是感知人體動(dòng)作的重要方式。
　　 本文以手勢(shì)動(dòng)作、肩頸部動(dòng)作和腿部運(yùn)動(dòng)為研究對(duì)象，對(duì)基于SEMG的多種類(lèi)人體動(dòng)作的檢測(cè)與識(shí)別技術(shù)進(jìn)行了深入探索，設(shè)計(jì)并實(shí)現(xiàn)了基于人體動(dòng)作的實(shí)時(shí)交互系統(tǒng)，開(kāi)展了一定規(guī)模的用戶(hù)測(cè)試實(shí)驗(yàn)，為實(shí)現(xiàn)自然和諧的人機(jī)交互提供了

3、幾種具體有效的解決方案。研究成果將促進(jìn)多模態(tài)智能人機(jī)接口技術(shù)的進(jìn)一步發(fā)展與推廣應(yīng)用，同時(shí)在人類(lèi)行為理解、康復(fù)醫(yī)學(xué)、情境感知、普適計(jì)算和導(dǎo)航定位等應(yīng)用研究中也具有重要價(jià)值。本文具體的研究工作和創(chuàng)新點(diǎn)包括：
　　 1.基于多通道SEMG的手勢(shì)動(dòng)作識(shí)別研究。此研究的目標(biāo)是為基于手勢(shì)的人機(jī)交互系統(tǒng)提供有效的識(shí)別算法，并為手勢(shì)命令集的選擇和SEMG傳感器的安置提供理論依據(jù)。一方面，以8類(lèi)常用手勢(shì)動(dòng)作為研究對(duì)象，對(duì)包含信號(hào)采集、活動(dòng)段檢測(cè)、

4、特征提取以及分類(lèi)識(shí)別在內(nèi)的多種動(dòng)作SEMG識(shí)別方法進(jìn)行了研究，提出了一種適用于實(shí)時(shí)交互的優(yōu)化算法，并在此基礎(chǔ)上，構(gòu)建了基于SEMG的實(shí)時(shí)手勢(shì)識(shí)別系統(tǒng)。另一方面，結(jié)合解剖學(xué)知識(shí)，對(duì)涉及多種精細(xì)手勢(shì)動(dòng)作在內(nèi)的20種手勢(shì)開(kāi)展了手勢(shì)命令集及SEMG傳感器安放位置的優(yōu)化研究，并在此基礎(chǔ)上提出了一種實(shí)用的交互控制應(yīng)用方案。在實(shí)時(shí)系統(tǒng)上進(jìn)行的特定用戶(hù)、多用戶(hù)以及與用戶(hù)無(wú)關(guān)的實(shí)驗(yàn)結(jié)果表明，該交互方案具有很好的魯棒性，此研究成果可為交互應(yīng)用中手勢(shì)集的選取

5、及傳感器的安置提供參考依據(jù)。
　　 2.基于加速度與SEMG信息融合的手語(yǔ)手勢(shì)識(shí)別研究。此研究是對(duì)基于多傳感器信息檢測(cè)和融合的手勢(shì)識(shí)別技術(shù)的初步探索。放置在手前臂的加速計(jì)適合區(qū)分具有不同運(yùn)動(dòng)軌跡的手臂揮劃，而SEMG信息更適于表達(dá)手指手腕等精細(xì)動(dòng)作引起的具有不同模式的肌肉活動(dòng)。針對(duì)這兩種傳感器捕獲手語(yǔ)手勢(shì)信息的互補(bǔ)性，本文提出了一種有效融合加速度和SEMG信息的手語(yǔ)手勢(shì)動(dòng)作識(shí)別方法框架，利用多流HMM和決策樹(shù)融合兩種異質(zhì)傳感器信

6、息，對(duì)30種中國(guó)手語(yǔ)單手詞和16種情景對(duì)話(huà)例句展開(kāi)了分類(lèi)識(shí)別研究，并實(shí)現(xiàn)了采用18類(lèi)手勢(shì)動(dòng)作對(duì)虛擬魔方進(jìn)行控制的實(shí)時(shí)手勢(shì)交互系統(tǒng)。
　　 3.基于SEMG的肩頸部動(dòng)作識(shí)別研究。頭肩頸部動(dòng)作在自然和諧的人機(jī)交互中可作為輔助的交互手段。利用從背部、肩部和頸部等相關(guān)肌群檢測(cè)到的多通道SEMG，對(duì)7類(lèi)肩頸部動(dòng)作進(jìn)行了分類(lèi)識(shí)別研究，探索其用于交互的可行性與有效性。同時(shí)，在手勢(shì)實(shí)時(shí)識(shí)別與交互系統(tǒng)基礎(chǔ)上進(jìn)行了相應(yīng)改進(jìn)，實(shí)現(xiàn)了基于SEMG的肩頸

7、部動(dòng)作實(shí)時(shí)識(shí)別系統(tǒng)。
　　 4.融入肌電信息的個(gè)人導(dǎo)航研究。步行者正常行走時(shí)，左右兩腿交替邁步，相應(yīng)腓腸肌輪流收縮施力完成身體前向運(yùn)動(dòng)。從腓腸肌表面采集的SEMG信號(hào)強(qiáng)度隨步行時(shí)腿部用力大小表現(xiàn)出顯著的節(jié)律性。針對(duì)這一運(yùn)動(dòng)生理學(xué)特點(diǎn)，本文提出了一種基于SEMG的步行者運(yùn)動(dòng)分析技術(shù)，并與數(shù)字羅盤(pán)相結(jié)合，實(shí)現(xiàn)了一種新型的步行者航位推算(PDR)方法。該方法采用疊加窗分幀技術(shù)、樣本熵特征提取對(duì)雙腿腓腸肌SEMG信號(hào)進(jìn)行處理，用HMM分