基于深度機器學習的體態(tài)與手勢感知計算關鍵技術研究.pdf

1、隨著計算資源和用戶需求的快速增長，直觀、自然并且能夠適應各種交互環(huán)境的感知計算成為研究熱點。本文面向體態(tài)和手勢這兩種常見的感知通道，系統(tǒng)地研究其中的問題挑戰(zhàn)及其解決方法。隨著人們對于姿態(tài)恢復和手勢識別的精確性和易用性越來越高的要求，缺乏先驗知識表示、準確率與時延折中、標定過程繁瑣以及有標數據不足等關鍵問題與挑戰(zhàn)交錯疊加。首先，一些人類熟知的有助于解決感知問題的先驗知識難以直接嵌入在基于深度機器學習的端到端的感知計算方法中;其次，現有的基

2、于肌電信號的手勢識別方法難以同時做到高準確率和低時延;再次，現有的基于肌電信號的手勢識別方法通常需要用戶在每次佩戴設備后先進行嚴格的標定;最后，現有的基于肌電信號的手勢識別方法依賴于大量的具有手勢標簽的訓練數據，然而這些有標記的訓練數據通常難以獲得。
　　本研究主要內容包括：⑴針對基于無標記單目相機的體態(tài)感知中缺乏先驗知識表示的問題，提出了一種新的先驗知識的表示方式----高度圖用于從單目相機拍攝的視頻中精確地恢復三維人體姿態(tài)。在

3、此基礎上，提出使用雙流深度卷積網絡融合彩色圖像和高度圖兩種輸入信息來估計二維人體姿態(tài)，充分利用了人體各部位的高度這一先驗信息來提高二維姿態(tài)估計準確率;提出一種新的帶有時序一致性約束的目標函數，用于從估計出的人體關節(jié)點的二維人體姿態(tài)序列中恢復出對應的三維人體姿態(tài)序列，利用人體姿態(tài)和相機參數在時間上的連續(xù)性來提高三維姿態(tài)估計的準確率。⑵針對基于肌電信號的手勢感知中準確率與時延折中的問題，發(fā)現了瞬時的高密度肌電信號中存在特定的模式，這一發(fā)現使

4、得基于瞬時肌電信號的手勢識別成為可能?；谶@一發(fā)現，提出肌電圖像的概念，以及基于瞬時肌電圖像和深度卷積網絡的手勢識別框架。該方法可以在提高基于肌電信號的手勢識別準確率的同時降低時延。⑶針對基于肌電信號的手勢感知中標定過程繁瑣和有標數據不足的問題，提出了基于深度機器學習的無監(jiān)督領域自適應框架，從而提升基于肌電信號的會話間手勢識別的準確率，同時降低模型適配過程中所需要的用戶交互的復雜度。該適配方法無監(jiān)督和增量地更新模型中的統(tǒng)計量參數，適配貫