面向人機(jī)交互的常見桌面手勢識別.pdf

1、自第三次科技革命以來，計算機(jī)技術(shù)的迅猛發(fā)展大大促進(jìn)了人類文明的現(xiàn)代化。伴隨著計算機(jī)技術(shù)的發(fā)展，人機(jī)交互的方式也不斷革新，從傳統(tǒng)的鼠標(biāo)鍵盤到現(xiàn)在流行的觸摸屏，再到更先進(jìn)一點(diǎn)的語音控制，其特點(diǎn)也越來越人性化越來越以人為本。手勢交互作為一種新穎的人機(jī)交互方式在近些年也越來越流行，它在遙操作系統(tǒng)、智能家居、虛擬現(xiàn)實等領(lǐng)域得到了廣泛的應(yīng)用。手勢交互相對于傳統(tǒng)的人機(jī)交互方式有著無接觸操作、簡單易學(xué)、自然自由、可攜帶信息量大等優(yōu)點(diǎn)，因此對基于手勢的人

2、機(jī)交互技術(shù)的研究有著重要的意義。
　　通過手勢進(jìn)行人機(jī)交互時，如果使用復(fù)雜的背景則會影響計算機(jī)對手勢理解的準(zhǔn)確度，而桌面背景環(huán)境相對簡單。本文探究了桌面背景環(huán)境下的常見手勢交互方式，提出了一種桌面環(huán)境下的常見動態(tài)手勢識別與理解方法，包括“去”、“拿”、“移”、“放”、“回”、“這”等多種自然交互手勢。與一般靜態(tài)手勢不同，動態(tài)手勢還包含了大量的時序信息，對其中時序信息的提取往往是動態(tài)手勢識別的關(guān)鍵。目前流行的時序特征提取方法往往是基

3、于RNN（遞歸神經(jīng)網(wǎng)絡(luò)），基于RNN和CNN（卷積神經(jīng)網(wǎng)絡(luò)）往往可以很好地實現(xiàn)動態(tài)手勢的識別。上面這些方法都是在網(wǎng)絡(luò)結(jié)構(gòu)層來實現(xiàn)時序特征的提取，而本文提出了一種在輸入層提取時序特征的方法，并取得了不錯的效果。
　　該算法首先對輸入每幀圖像預(yù)處理，基于桌面環(huán)境的背景建模以及基于手部區(qū)域的膚色建模，兩種算法結(jié)合能很好地完成手勢前景的分割。然后融合多幀圖像之間的時序信息，完成基于手勢前景分割的時序特征建模，構(gòu)造動態(tài)手勢時空特征影像，其包