基于視覺的手勢(shì)輸入法研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)應(yīng)用技術(shù)的不斷發(fā)展,傳統(tǒng)的采用鼠標(biāo)、鍵盤或觸摸屏幕作為交互手段的人機(jī)交互技術(shù)已不能完全滿足人們當(dāng)前的需求,而以自然語(yǔ)言、手勢(shì)語(yǔ)言和面部表情語(yǔ)言為代表的多模式智能型人機(jī)交互技術(shù)在計(jì)算機(jī)研究領(lǐng)域變得愈發(fā)重要。手勢(shì)輸入作為一種新的智能型人機(jī)交互技術(shù),主要涉及圖像處理、模式識(shí)別、概率統(tǒng)計(jì)學(xué)和計(jì)算機(jī)視覺等領(lǐng)域。由于人手是復(fù)雜變形體,手勢(shì)表達(dá)靈活多變,不同手勢(shì)之間具有較高相似性,以及手勢(shì)序列在時(shí)間域和空間域內(nèi)具有極大差異性等特點(diǎn),使得手勢(shì)

2、輸入成為一個(gè)極富挑戰(zhàn)性的多學(xué)科交叉研究課題。本文可分為兩方面內(nèi)容:設(shè)計(jì)與實(shí)現(xiàn)基于雙目視覺的手勢(shì)識(shí)別;利用已定義手勢(shì)和識(shí)別結(jié)果調(diào)用輸入法實(shí)現(xiàn)中英文輸入。手勢(shì)識(shí)別與輸入法的結(jié)合應(yīng)用,在國(guó)內(nèi)外尚屬首例,已于2011年11月申報(bào)國(guó)家發(fā)明專利《基于計(jì)算機(jī)視覺的手勢(shì)輸入法構(gòu)建方法及系統(tǒng)》,專利申請(qǐng)?zhí)?011103459148。
　　本文設(shè)計(jì)實(shí)現(xiàn)了基于視覺的手勢(shì)輸入法系統(tǒng),該系統(tǒng)可實(shí)時(shí)完成左右手手勢(shì)識(shí)別,并通過識(shí)別結(jié)果實(shí)現(xiàn)中英文輸入。左右手交替

3、輸入使得輸入法具有更高的輸入效率和更好的用戶體驗(yàn)。本系統(tǒng)包括以下四個(gè)處理環(huán)節(jié):首先,手勢(shì)關(guān)鍵幀序列提取。提取流程:設(shè)置異步緩沖模型大小,將攝像頭捕捉到的手勢(shì)視頻流轉(zhuǎn)換成手勢(shì)圖像幀并按時(shí)間先后順序存入緩沖模型,對(duì)模型中圖像幀進(jìn)行相鄰幀聚類,得到手勢(shì)關(guān)鍵幀序列。其次,手勢(shì)關(guān)鍵幀圖像預(yù)處理。根據(jù)人體膚色特征定位并分割手勢(shì)區(qū)域,對(duì)分割得到的手勢(shì)區(qū)域幀進(jìn)行二值化、圖像增強(qiáng)和平滑濾波處理,之后利用拉普拉斯邊緣提取算法獲得手勢(shì)輪廓。再次,手勢(shì)關(guān)鍵幀特

4、征提取,本文選取由手勢(shì)區(qū)域幾何特征,Hu不變矩特征,傅里葉描述子和Zernike矩聯(lián)合向量作為手勢(shì)特征向量。最后,手勢(shì)識(shí)別及手勢(shì)輸入法。系統(tǒng)最終采用BP神經(jīng)網(wǎng)絡(luò)分類算法標(biāo)定手勢(shì)關(guān)鍵幀,根據(jù)識(shí)別結(jié)果控制輸入法信息輸入,通過實(shí)驗(yàn)測(cè)試,本系統(tǒng)可以利用手勢(shì)實(shí)現(xiàn)中英文的輸入、刪除和修改操作。本文手勢(shì)模板庫(kù)共包括26個(gè)字母手勢(shì)和7個(gè)控制手勢(shì),字母手勢(shì)可實(shí)現(xiàn)信息輸入工作,控制手勢(shì)可實(shí)現(xiàn)輸入法啟動(dòng),暫停及輸入信息的刪除和修改工作。系統(tǒng)共完成33個(gè)手勢(shì)的