序列圖像中手勢跟蹤與識別技術(shù)的研究.pdf

1、基于動態(tài)序列圖像的生物特征識別已成為近年來計算機視覺領(lǐng)域中備受關(guān)注的研究內(nèi)容，它主要從圖像序列中檢測、識別、跟蹤人及對其生物特征理解和描述加以研究。人的生物特征識別在虛擬現(xiàn)實、人機交互、視覺監(jiān)控等領(lǐng)域均有著廣闊的應用，基于視覺的手勢跟蹤與識別研究就是其重要內(nèi)容。由于手勢具有多樣性、多義性、手的復雜變形性、視覺本身的不適定性以及手勢在時間和空間上的差異性等特點，因此基于視覺的的手勢跟蹤與識別是一個多學科交叉的富有挑戰(zhàn)性的研究課題。

2、 一個完整的基于視覺的圖像序列中手勢跟蹤與識別系統(tǒng)，通常包含下面三個部分：手的檢測、分割，手勢跟蹤與手勢識別。 手勢分割就是將有意義的區(qū)域（手）從手勢圖像中劃分出來，是基于視覺的手勢識別過程中的最為關(guān)鍵的一步，手勢分割的好壞直接影響后續(xù)的手勢跟蹤、手勢特征提取及手勢識別結(jié)果。對圖像序列中包含的手勢進行跟蹤（二維跟蹤），即對投影到圖像平面的手進行定位和跟蹤，是手勢識別的關(guān)鍵。手勢識別則是把模型參數(shù)空間中的軌跡（或點）分類到該空間中

3、某個子集的過程。 本文主要研究了用于人機交互的手勢跟蹤與識別，分別對目標分割算法，手勢跟蹤算法與識別算法進行深入研究。主要工作總結(jié)如下： 1．首先提出一種基于膚色信息的自適應輪廓模型實現(xiàn)手部輪廓的提取。鑒于這種自適應輪廓模型對于具有凹形邊界的輪廓不能實現(xiàn)準確提取，本文又提出一種自適應形狀模型實現(xiàn)具有凸形與凹形兩類邊界輪廓的準確提取方法。 這種自適應活動輪廓模型是一種改進的Snake模型，它使輪廓線能夠自適應地收縮

4、或膨脹，降低了對初始輪廓的敏感性，在視覺跟蹤中不需在當前幀中重新初始化，只需進行目標定位，較好地解決了Snake模型及Snake跳躍模型的不足，保證了對目標輪廓的準確提取。鑒于這種自適應輪廓模型對于具有凹形邊界的輪廓不能實現(xiàn)準確提取，本文又提出一種自適應形狀模型，并運用拆分和聚合技術(shù)對該形狀模型表示的‘中間輪廓’進行修正，實現(xiàn)具有凸形與凹形兩類邊界輪廓的準確提取。 2．提出了一種基于各向異性核函數(shù)的均值漂移跟蹤算法，實現(xiàn)圖像序列

5、中區(qū)域跟蹤的穩(wěn)健性、有效性和實時性。并且，融合均值漂移算法與自適應輪廓模型實現(xiàn)了圖像序列中的手部輪廓跟蹤。 該算法提出了一種形狀、大小、方向能自適應于目標局部結(jié)構(gòu)的變化的各向異性核函數(shù)，將其應用于均值漂移算法實現(xiàn)目標跟蹤，保證了跟蹤效果的穩(wěn)定性和魯棒性。而均值漂移與自適應輪廓模型的融合算法，能夠根據(jù)跟蹤區(qū)域模板與目標模板的相似性度量Bhattacaryya系數(shù)給出在跟蹤目標被遮擋時的處理方法，有效地解決了目標跟蹤的這一難題。

6、 3．基于上述區(qū)域跟蹤結(jié)果，利用手輪廓的方向直方圖實現(xiàn)用于人機交互的靜態(tài)手勢識別；基于上述輪廓跟蹤結(jié)果，利用隱馬爾可夫模型實現(xiàn)用于人機交互的動態(tài)手勢識別。 方向直方圖滿足手勢識別中對光照變化的不敏感性和手勢平移、旋轉(zhuǎn)不變性等要求，并且可有效的表示手勢特征。基于區(qū)域跟蹤結(jié)果，利用手輪廓的方向直方圖本文實現(xiàn)了用于人機交互的靜態(tài)手勢識別；基于輪廓跟蹤結(jié)果，同時應用手形及手部運動兩大特征作為隱馬爾可夫模型的輸入實現(xiàn)了動態(tài)手勢識別，提

7、高了手勢識別率，也達到了實時性的效果，且不必依賴數(shù)據(jù)手套等設(shè)備。 4．提出一種新的基于范例集的跟蹤器（CEE（CAMSHIFT Embedded Exemplar））跟蹤器，在圖像序列中同時實現(xiàn)手勢跟蹤與識別。 為克服基于范例集的手勢跟蹤不能實現(xiàn)復雜場景下手部輪廓特征的精確提取及手部動作的不準確預測，本文提出一種新的基于范例集的跟蹤器（CEE跟蹤器），充分利用跟蹤目標的運動信息與顏色信息實現(xiàn)復雜場景下手勢的準確跟蹤，而且