基于Kinect的體感識(shí)別技術(shù)及其在旗語培訓(xùn)中的應(yīng)用.pdf

1、旗語是一種在工業(yè)生產(chǎn)、交通管理等領(lǐng)域中用于傳遞信號(hào)的肢體語言。體感識(shí)別技術(shù)旨在讓計(jì)算機(jī)理解肢體語言，所以在肢體語言的交互教學(xué)活動(dòng)中也有很大應(yīng)用空間。當(dāng)今新一代體感識(shí)別技術(shù)更是利用KINECT、wii等設(shè)備克服了傳統(tǒng)的體感識(shí)別輸入設(shè)備（如數(shù)據(jù)手套）在交互教學(xué)中的局限性。從教學(xué)方面來看，采用新一代體感識(shí)別技術(shù)有助提高計(jì)算機(jī)對(duì)肢體語言的理解能力，可以為旗語等肢體語言教學(xué)提供新的途徑，從而提高交互教學(xué)的教學(xué)質(zhì)量，促進(jìn)教學(xué)活動(dòng)開展。為了將體感識(shí)別

2、技術(shù)引入旗語教學(xué)領(lǐng)域并適應(yīng)其教學(xué)需求，本論文將嘗試通過建構(gòu)一種旗語培訓(xùn)系統(tǒng)以達(dá)成此目的。
　　基于鐵路旗語教學(xué)需求本論文首先對(duì)幾種現(xiàn)下通行的體感識(shí)別技術(shù)進(jìn)行了應(yīng)用性比較，然后利用KINECT感應(yīng)器設(shè)計(jì)并建構(gòu)了一套基于體感識(shí)別技術(shù)的旗語培訓(xùn)系統(tǒng)。該系統(tǒng)包括兩個(gè)核心模塊，即動(dòng)作訓(xùn)練模塊和動(dòng)作識(shí)別模塊:在動(dòng)作訓(xùn)練模塊中，用戶可選擇需要訓(xùn)練的動(dòng)態(tài)旗語動(dòng)作進(jìn)行訓(xùn)練;在動(dòng)作識(shí)別模塊中，用戶可利用訓(xùn)練好的動(dòng)作模板去識(shí)別用戶通過KINECT輸入的

3、動(dòng)作。
　　本論文的重點(diǎn)部分闡述了動(dòng)作識(shí)別模塊如何提取和識(shí)別肢體語言特征，并嘗試改進(jìn)了現(xiàn)下流行的骨骼數(shù)據(jù)預(yù)處理方法和動(dòng)作識(shí)別算法。其中，關(guān)于肢體特征提取，本論文基于獲取的原始骨骼點(diǎn)三維坐標(biāo)，修正了深度坐標(biāo)，并對(duì)其進(jìn)行了歸一化處理，從而改進(jìn)了加權(quán)方法;而關(guān)于肢體動(dòng)作識(shí)別，本論文將動(dòng)態(tài)時(shí)間規(guī)劃算法應(yīng)用到三維坐標(biāo)系，并根據(jù)旗語識(shí)別的特性將這一算法改進(jìn)為嵌套動(dòng)態(tài)時(shí)間規(guī)劃算法。實(shí)驗(yàn)證明，如上改進(jìn)后的算法明顯提高了體感識(shí)別的準(zhǔn)確率。
　

4、　在動(dòng)作訓(xùn)練和動(dòng)作識(shí)別兩個(gè)核心模塊的基礎(chǔ)上，在后期本論文還增加了互動(dòng)教學(xué)模塊和語音識(shí)別模塊，用戶能夠在新增模塊中使用肢體動(dòng)作和語音命令來播放教學(xué)視頻、觀看教學(xué)圖片，并與計(jì)算機(jī)進(jìn)行實(shí)時(shí)互動(dòng)。
　　以上所有研究都得到了充分的實(shí)驗(yàn)數(shù)據(jù)來驗(yàn)證其可行性。作為研究成果，本論文也給出了一套完整的系統(tǒng)設(shè)計(jì)和代碼實(shí)現(xiàn)方案?；谝陨涎芯砍晒菊撐某晒?shí)現(xiàn)將新一代體感識(shí)別技術(shù)引入旗語教學(xué)領(lǐng)域。本論文建構(gòu)的旗語培訓(xùn)系統(tǒng)拓展了旗語教學(xué)方式的多樣性，大幅提