基于視覺(jué)的手指語(yǔ)識(shí)別系統(tǒng)研究.pdf

1、手指語(yǔ)是聾啞人之間正常交流溝通的語(yǔ)言，傳統(tǒng)的手指語(yǔ)需要人工翻譯，存在效率低、不便捷等缺點(diǎn)。隨著科學(xué)技術(shù)的發(fā)展，手指語(yǔ)識(shí)別成為了計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。手指語(yǔ)識(shí)別以人機(jī)交互平臺(tái)為基礎(chǔ)，改善了傳統(tǒng)手指語(yǔ)的一些缺點(diǎn)，提高了聾啞人與外界交流的效率，具有十分廣闊的應(yīng)用前景，因此，對(duì)手指語(yǔ)識(shí)別進(jìn)行研究具有重要意義。
　　手指語(yǔ)識(shí)別技術(shù)分為基于數(shù)據(jù)手套和基于視覺(jué)的兩種研究方法，隨著計(jì)算機(jī)人機(jī)交互技術(shù)快速發(fā)展，基于視覺(jué)的手指語(yǔ)識(shí)別技術(shù)具有速

2、度快，效率高等特點(diǎn)，更便于聾啞人交流。本文主要基于OpenCV開(kāi)源庫(kù)，采用手勢(shì)分割跟蹤、圖像預(yù)處理、SVM識(shí)別的方法來(lái)對(duì)手指語(yǔ)進(jìn)行識(shí)別，本文的主要研究工作如下：
　　(1)提出了一種手勢(shì)分割算法：對(duì)幀間(或三幀間)差分法和背景差分中的靜態(tài)、動(dòng)態(tài)背景建模方法進(jìn)行對(duì)比。通過(guò)分析這五種算法的優(yōu)缺點(diǎn)，同時(shí)根據(jù)實(shí)際環(huán)境進(jìn)行手勢(shì)分割實(shí)驗(yàn)，提出了一種結(jié)合codebook背景建模和HSV顏色空間模型的算法來(lái)進(jìn)行手勢(shì)分割。實(shí)驗(yàn)結(jié)果表明，該算法能夠有

3、效地分割出手勢(shì)區(qū)域。
　　(2)對(duì)傳統(tǒng)的Meanshift跟蹤算法和Camshift跟蹤算法進(jìn)行了實(shí)驗(yàn)分析。針對(duì)Meanshift算法跟蹤窗口不能自適應(yīng)以及Camshift算法跟蹤缺少預(yù)測(cè)機(jī)制而導(dǎo)致遮擋情況下容易丟失目標(biāo)的缺點(diǎn)，提出了一種結(jié)合Kalman濾波器預(yù)測(cè)機(jī)制的Camshift跟蹤算法用于處理遮擋干擾。實(shí)驗(yàn)結(jié)果表明，該算法能夠更好地跟蹤預(yù)測(cè)手勢(shì)的位置。
　　(3)對(duì)分割的手勢(shì)區(qū)域進(jìn)行中值平滑去噪以及形態(tài)學(xué)處理，通過(guò)O

4、stu閾值化等處理得到滿足要求的手勢(shì)圖像，采用8鄰域的方法提取手勢(shì)的連續(xù)輪廓，方便后續(xù)的手勢(shì)特征提取工作。
　　(4)提出了一種手勢(shì)特征提取的算法：選擇Hu不變矩特征作為本文手勢(shì)輪廓的整體特征，傅里葉描述子特征作為細(xì)節(jié)特征，將兩種特征組合成手勢(shì)特征向量。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)區(qū)分不同的手指語(yǔ)手勢(shì)有著良好的效果。
　　(5)對(duì)于提取到的手勢(shì)特征，提出了采用支持向量機(jī)（SVM）的分類識(shí)別方法，通過(guò)對(duì)SVM原理的分析、核函數(shù)的選取