肌電信號交互

1、基于表面肌電信號動作識別與交互,,,基于表面肌電信號的人體動作識別,基于SEMG的手勢動作識別技術,手勢識別與交互系統,人機交互及人體動作識別,,人機交互及人體動作識別,智能人機界面：計算機應當對人類的自然能力(包括觸覺、語言、筆形、姿勢和情感等)進行感知。,人與計算機交互(Human-Computer Interaction,HCI),人機交互,,人機交互及人體動作識別,,指計算機自動檢測、分析和理解人體各類運動和行為，判斷人的意圖

2、并提供相應服務的過程.,應用：,人體動作識別,人機交互及人體動作識別,,感知人體動作的兩種主流方式：,1、計算機視覺：采用視覺設備和圖像處理技術持續(xù)捕獲人體動作，具有跟蹤全身或局部肢體運動，并獲取表情或手勢等動作在攝像機視圖二維平面投影的形狀信息的功能。缺點：(1)環(huán)境影響;(2)難察覺精細的人體動作;(3)動作分割難。,2、運動測量：用戶身體上安放各類傳感器設備測量用戶執(zhí)行動作時產生的物理量。缺點：傳感器單一，獲取的信息有

3、限，可識別的人體動作種類不多。,基于表面肌電信號的人體動作識別,,,基于表面肌電信號的人體動作識別,,肌電信號(Eleotromyography,EMG）伴隨肌肉活動產生的一種重要的生物電信號。生理學依據：肢體的特定關節(jié)運動由對應的肌肉群控制。肌電控制系統：通過對在相應肌群上采集到的EMG信號對不同人體動作進行識別，用識別結果控制外圍設備。,概念,基于表面肌電信號的人體動作識別,,表面肌電信號產生原理,MUAPT,表面

4、肌電信號：幅度范圍為0-1.5mA，帶寬為0.5-2000Hz，是許多運動單位(Motor Unit,MU)的電發(fā)放的總和，波形呈干擾形，很難從中分辨單一單位動作的波形。,表面肌電信號（Surface EMG,SEMG）運動單位動作電位(Motor Unit Action Potential，MUAP)運動單位的動作電位序列(Motor Unit Action Potential Train，MUAPT),基于表面肌電信號的人

5、體動作識別,,針電極肌電信號(Needle EMG；NEMG)以針形電極為引導電極，將其插入到肌肉內部，直接在活動肌纖維附近檢測電位信息。特點：干擾小，定位性好，易識別；具有良好的空間分辨率和較高的信噪比；但是一種有創(chuàng)傷的檢測方法；不宜同時測量多路信。,表面電極肌電信號（Surface EMG,SEMG）從人體皮膚表面通過電極記錄下來的神經肌肉活動時發(fā)放的生物電信號。特點：較大的檢測表面和較低的空間分辨率；記錄的信號

6、為一定范圍內肌纖維電活動的總和；測量的無損傷性；干擾大。,肌電信息采集方式分兩種：,,測量優(yōu)勢：1．感知動作的直接性2．檢測動作的敏感性3．傳感器低成本高便攜性,主要問題：1．可識別的手勢動作的種類較少2．缺乏結合生理學知識的系統研究3．可重復性和通用性,基于表面肌電信號的人體動作識別,,信號采集：SEMG信號的采集手段已經從模擬測量方式轉為數字記錄。預處理：測量電極多采用空間電極配置方式；通過多個電極適當形

7、式的互相組合采集SEMG信號，以改善檢測SEMG的信噪比。目前應用較多的空間電極配置方式為雙極性(Bipolar)和拉普拉斯(Laplaoe)電極。,基于表面肌電信號的人體動作識別,表面肌電信號的采集與預處理,,肌肉興奮產生神經脈沖，電極處產生連續(xù)發(fā)放形成的MUAPT,采用表面電極肌電信號采集方法,基于SEMG的手勢動作識別技術,信號預處理,整流，平滑，濾波，振幅標準化,基于表面肌電信號的人體動作識別,信號采集,信號產生,信號識別,

8、基于SEMG的手勢動作識別技術,,多通道表面肌電信號手勢動作識別及交互控制示意圖：,由放置在人手臂皮膚表面預定位置上的SEMG傳感器同步獲取多通道SEMG信號數據，經由活動段檢測方法標定每一個動作執(zhí)行時對應信號流的起止點，再通過特征提取后進行分類識別，動作的識別結果可以轉化為控制指令，作為人機交互的輸入。手勢動作SEMG模式識別算法由活動段檢測、特征提取和分類識別三個主要環(huán)節(jié)組成。,基于SEMG的手勢動作識別技術,,活動段檢測,連續(xù)

9、采集的多通道肌電信號數據流中提取出對應于動作執(zhí)行時的信號,稱為活動段(Active Segments)?；顒佣螜z測的任務：確定手勢動作SEMG信號的起點和終點位置，檢測前提條件：對手勢動作SEMG信號活動段檢測的準確判別。已有的SEMG活動段提取算法有短時傅立葉方法、自組織人工神經網絡方法、移動平均方法等。確定每一個手勢動作樣本所對應的多通道SEMG信號活動段,用于以下環(huán)節(jié)的特征提取和模式分類。,基于SEMG的手勢動作識別技

10、術,,特征提取,特征提取環(huán)節(jié)的主要目標：將動作SEMG信號用一組能表征其類型固有特性的數據來描述，作為該類別的特征，并盡可能做到不同手勢動作類別提取得到的特征差異明顯,便于分類。,,基于SEMG的手勢動作識別技術,,分類器設計,分類器設計是模式識別任務實現的核心環(huán)節(jié)，目的：建立用于識別信號模式的分類模型，以準確判定待識別的樣本特征所歸屬的類別。,在SEMG模式識別研究中常用的分類器：,手勢識別與交互系統,,實時手勢交互系統組成,系統

11、組成：信號檢測模塊和算法處理模塊。,,實現模擬-數字轉換功能,,,獲取信號,,信號處理：放大、濾波等,,包括信號預處理、活動段檢測、特征提取和分類識別4個主要步驟,手勢識別與交互系統,,各階段的作用,信號預處理：通過數字濾波去除信號基線漂移等方法以增加后級活動段檢測的準確性?；顒佣螜z測：從多通道SEMG連續(xù)數據流中確定手語動作執(zhí)行時的信號段。特征提?。夯救蝿帐怯靡唤M最有效的參數來表征原始動作信號，實現數據的壓縮，并盡可能做到不

12、同手語動作對應的信號特征差異明顯。分類識別階段：線性判別分類器LDC因其良好的性能和較低的計算復雜度作為實時手勢SEMG信號分類的首選算法。,手勢識別與交互系統,,用戶使用此系統進行手勢識別實驗的截圖,系統軟件界面包括信號實時顯示、系統參數調整、功能控制選擇和結果顯示4個主要區(qū)域。系統軟件包含存儲訓練樣本和實時測試兩個基本功能。當使用存儲訓練樣本功能時，系統可以對每一個手勢動作所對應的活動段信號進行特征提取，并將特征數據存儲在