基于Kinect的中國手語識(shí)別方法研究.pdf

1、隨著多模式人機(jī)交互技術(shù)的發(fā)展，手語識(shí)別的研究也得到了越來越多的重視。然而傳統(tǒng)的、基于計(jì)算機(jī)視覺的手語識(shí)別技術(shù)很難實(shí)時(shí)捕獲手的姿勢和位置。2010年11月微軟推出Kinect作為Xbox360游戲主機(jī)的游戲“手柄”。Kinect憑借其能夠獲得人體深度圖像，輕松進(jìn)行人體主要骨骼關(guān)節(jié)點(diǎn)和手的三維特征的跟蹤和分割等優(yōu)勢，在人機(jī)交互領(lǐng)域得到廣泛的應(yīng)用。本文基于Kinect平臺(tái)，利用Kinect能夠同時(shí)獲取人體主要骨骼關(guān)節(jié)點(diǎn)和手的三維特征等優(yōu)勢，對

2、中國手語識(shí)別方法進(jìn)行了研究，重點(diǎn)研究了手語基元提取方法和利用手語基元進(jìn)行手語識(shí)別的方法。主要研究內(nèi)容包括：
　　 ⑴提出了基于不同的聚類方法的手語基元提取方法。該方法采用聚類分析方法，將手語特征中的相同或者相似部分進(jìn)行聚合形成基元。根據(jù)Kinect獲得手語的手型、位置和方向特征的不同，分別采用DBSCAN和K-means聚類算法提取位置基元和方向基元，并提出一種結(jié)合CLTree和Attribute bagging聚類集成算法提取

3、手型基元。實(shí)驗(yàn)證明本文提出的手語基元提取方法是有效的、可行的。
　　 ⑵提出基于形狀匹配算法（Shape Context）和高斯混合模型(GMM，Gaussian Mixture Model)的中國手語識(shí)別方法。該方法通過采用Shape Context算法計(jì)算待測手型特征與手型基元的匹配度來識(shí)別待測手型。然后利用lineardiscriminant classifier(LDC)對位置基元和方向基元進(jìn)行訓(xùn)練，構(gòu)成位置分類器和方向

4、分類器，再以位置分類器和方向分類器為基礎(chǔ)建立GMM模型來識(shí)別待測手語的位置和方向。最后通過集成手型、位置和方向的識(shí)別結(jié)果來識(shí)別中國手語。實(shí)驗(yàn)結(jié)果表明該方法不僅能夠接近精密儀器的識(shí)別水平，而且具有非侵入式的優(yōu)點(diǎn)和較高的實(shí)時(shí)性。
　　 ⑶設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Kinect的中國手語識(shí)別原型系統(tǒng)。該系統(tǒng)能從Kinect采集人體主要骨骼的3D坐標(biāo)和手的3D坐標(biāo)，提取手語特征和手語基元，最后對手語進(jìn)行識(shí)別并給出響應(yīng)。經(jīng)實(shí)際測試，該系統(tǒng)能在不