基于Kinect的手勢(shì)識(shí)別技術(shù)研究.pdf

1、手勢(shì)識(shí)別是自然人機(jī)交互的一項(xiàng)關(guān)鍵技術(shù),相對(duì)于傳統(tǒng)的鼠標(biāo)、鍵盤等機(jī)械設(shè)備,手勢(shì)具有自然直觀、容易理解等優(yōu)點(diǎn),更加符合人類日常交流習(xí)慣。Kinect是微軟公司發(fā)布的一款可同時(shí)獲取RGB彩色圖像和深度圖像的設(shè)備,它能從單幀深度圖像中預(yù)測(cè)20個(gè)人體骨架節(jié)點(diǎn)的三維坐標(biāo),是研究基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù)的理想設(shè)備。按照識(shí)別對(duì)象分類,手勢(shì)識(shí)別可以分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。本文以Kinect為輸入設(shè)備,分別對(duì)靜態(tài)手勢(shì)識(shí)別技術(shù)和動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)進(jìn)

2、行了研究。
　　靜態(tài)手勢(shì)識(shí)別對(duì)單幀圖像中手的形狀進(jìn)行分類,一般包括手勢(shì)分割、特征提取、分類識(shí)別三個(gè)步驟,本文結(jié)合手部節(jié)點(diǎn)的位置信息和自適應(yīng)閾值的膚色檢測(cè)方法分割手勢(shì),提取Hu不變矩和手指?jìng)€(gè)數(shù)作為特征,最后用SVM進(jìn)行分類。動(dòng)態(tài)手勢(shì)識(shí)別對(duì)連續(xù)多幀圖像中手的運(yùn)動(dòng)軌跡進(jìn)行分類,一般包括手部分割、手部跟蹤、特征提取、分類識(shí)別四個(gè)步驟,本文從單幀深度圖像中得到骨架節(jié)點(diǎn)的位置,將骨架節(jié)點(diǎn)的運(yùn)動(dòng)軌跡作為動(dòng)態(tài)手勢(shì)的特征,使用距離加權(quán)動(dòng)態(tài)時(shí)間規(guī)整算

3、法計(jì)算訓(xùn)練樣本和測(cè)試樣本之間的距離,最后用K-NN進(jìn)行分類。
　　本文的主要研究?jī)?nèi)容包括以下三個(gè)方面:
　?、偬岢鲆环N新的靜態(tài)手勢(shì)分割方法:結(jié)合手部節(jié)點(diǎn)的位置信息和自適應(yīng)閾值的膚色檢測(cè)方法分割靜態(tài)手勢(shì)。該方法不需要大量訓(xùn)練樣本,可以根據(jù)實(shí)時(shí)獲取的圖像動(dòng)態(tài)調(diào)整膚色檢測(cè)閾值。實(shí)驗(yàn)結(jié)果表明,該方法可以克服類膚色區(qū)域的干擾,具有很好的分割效果。
　?、谔岢鲆环N新的靜態(tài)手勢(shì)特征提取方法:在7個(gè)Hu不變矩的基礎(chǔ)上加上手指?jìng)€(gè)數(shù)構(gòu)成一

4、個(gè)8維的特征向量作為靜態(tài)手勢(shì)的特征。Hu矩和手指?jìng)€(gè)數(shù)都具有旋轉(zhuǎn)、平移、縮放不變性,手指?jìng)€(gè)數(shù)可以直觀的區(qū)分靜態(tài)手勢(shì),但卻不能唯一的表示靜態(tài)手勢(shì)。實(shí)驗(yàn)結(jié)果表明,在Hu不變矩的基礎(chǔ)上加上手指?jìng)€(gè)數(shù)這一特征后靜態(tài)手勢(shì)平均識(shí)別率有所提高。
　　③提出一種新的動(dòng)態(tài)手勢(shì)分類識(shí)別方法:在動(dòng)態(tài)時(shí)間規(guī)整(DTW)基礎(chǔ)上提出一種新的距離加權(quán)DTW算法以計(jì)算動(dòng)態(tài)手勢(shì)測(cè)試樣本與訓(xùn)練樣本之間的距離,然后用K-NN分類器進(jìn)行分類識(shí)別。由于每個(gè)骨架節(jié)點(diǎn)的DTW距離