基于人機(jī)交互系統(tǒng)的手勢(shì)識(shí)別方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，能夠滿(mǎn)足人機(jī)自然友好交互需求的新型人機(jī)交互技術(shù)得到了人們?cè)絹?lái)越廣泛的關(guān)注。手勢(shì)是人們?nèi)粘Ｉ钪械囊环N交流手段，基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù)使得計(jì)算機(jī)能夠“看懂”人的行為和動(dòng)作，能夠給用戶(hù)帶來(lái)更自然、直觀的交互體驗(yàn)，是新型人機(jī)交互技術(shù)發(fā)展中的一個(gè)重要方向。
　　 本文從智能控制與人機(jī)交互的角度出發(fā)，研究了基于視覺(jué)的手勢(shì)識(shí)別的相關(guān)算法。論文從手勢(shì)分割、指尖檢測(cè)和手勢(shì)的特征提取與識(shí)別等方面進(jìn)行了研究。論文的具體

2、研究工作主要有以下幾點(diǎn):
　　 1.針對(duì)現(xiàn)有手勢(shì)分割方法不準(zhǔn)確、適應(yīng)性差等問(wèn)題，提出一種基于區(qū)域增長(zhǎng)型脈沖耦合神經(jīng)網(wǎng)絡(luò)的手勢(shì)分割方法。該方法首先在YCgCr顏色空間建立高斯膚色模型，在此基礎(chǔ)上以較苛刻的原則（能夠保證所選像素為膚色像素）選取膚色區(qū)域作為種子區(qū)域。然后，在高斯膚色相似度圖像上，采用基于脈沖耦合神經(jīng)網(wǎng)絡(luò)機(jī)制的區(qū)域生長(zhǎng)算法來(lái)提取膚色區(qū)域。最后，根據(jù)膚色區(qū)域的幾何特征提取手勢(shì)區(qū)域。實(shí)驗(yàn)表明:該算法能夠有效的克服光照變化的

3、影響，在不同的光照環(huán)境下都能夠得到較好的膚色檢測(cè)效果。同時(shí)，分割結(jié)果中膚色區(qū)域具有邊緣平滑的特點(diǎn)，這將非常有利于手勢(shì)識(shí)別的后續(xù)處理。
　　 2.在手勢(shì)分割的基礎(chǔ)上，提出了一種基于多尺度曲率分析的指尖檢測(cè)算法。該算法首先采用8-鄰域輪廓跟蹤算法提取手勢(shì)輪廓;其次，針對(duì)手勢(shì)輪廓的周長(zhǎng)設(shè)定輪廓搜索尺度區(qū)間，在此尺度區(qū)間內(nèi)進(jìn)行手勢(shì)輪廓的多尺度曲率計(jì)算以定位指尖。實(shí)驗(yàn)表明:該算法具有較好的指尖檢測(cè)效果，具有手勢(shì)旋轉(zhuǎn)、縮放不變性，并能夠滿(mǎn)足

4、系統(tǒng)實(shí)時(shí)性要求。
　　 3.針對(duì)類(lèi)膚色信息或復(fù)雜背景的影響，難以通過(guò)手勢(shì)分割得到精確手勢(shì)輪廓而對(duì)后期手勢(shì)識(shí)別率與實(shí)時(shí)交互的影響，基于圖像局部不變性特征理論提出一種基于特征包及支持向量機(jī)的手勢(shì)識(shí)別模型。采用SIFT算法提取手勢(shì)圖像局部不變性特征點(diǎn)，將手勢(shì)局部特征向量(SIFT描述子)進(jìn)行K-means聚類(lèi)生成視覺(jué)碼書(shū)，并通過(guò)視覺(jué)碼書(shū)量化每一幅手勢(shì)圖像的視覺(jué)碼字集合，以此獲得手勢(shì)圖像的固定維數(shù)的表征向量來(lái)訓(xùn)練SVM多類(lèi)分類(lèi)器。該方法

5、只需框定手勢(shì)所在區(qū)域，無(wú)需精確地分割人手。實(shí)驗(yàn)中針對(duì)9種交互型手勢(shì)獲得了較高的識(shí)別率。實(shí)驗(yàn)表明該方法具有很好的魯棒性及實(shí)時(shí)性，能適應(yīng)環(huán)境的變化。
　　 4.結(jié)合研究目標(biāo)及應(yīng)用需求，分析應(yīng)用場(chǎng)景，在VC++6.0環(huán)境下基于OpenCV視覺(jué)庫(kù)設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于指尖檢測(cè)的PowerPoint手勢(shì)控制系統(tǒng)。系統(tǒng)通過(guò)指尖檢測(cè)技術(shù)，以指尖數(shù)目及相對(duì)位置信息來(lái)判別手勢(shì)，替代鼠標(biāo)和鍵盤(pán)控制PowerPoint的放映。該系統(tǒng)應(yīng)用在教師授課的場(chǎng)景中