序列圖像中手勢(shì)跟蹤與識(shí)別技術(shù)的研究.pdf

1、基于動(dòng)態(tài)序列圖像的生物特征識(shí)別已成為近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域中備受關(guān)注的研究?jī)?nèi)容，它主要從圖像序列中檢測(cè)、識(shí)別、跟蹤人及對(duì)其生物特征理解和描述加以研究。人的生物特征識(shí)別在虛擬現(xiàn)實(shí)、人機(jī)交互、視覺(jué)監(jiān)控等領(lǐng)域均有著廣闊的應(yīng)用，基于視覺(jué)的手勢(shì)跟蹤與識(shí)別研究就是其重要內(nèi)容。由于手勢(shì)具有多樣性、多義性、手的復(fù)雜變形性、視覺(jué)本身的不適定性以及手勢(shì)在時(shí)間和空間上的差異性等特點(diǎn)，因此基于視覺(jué)的的手勢(shì)跟蹤與識(shí)別是一個(gè)多學(xué)科交叉的富有挑戰(zhàn)性的研究課題。

2、 一個(gè)完整的基于視覺(jué)的圖像序列中手勢(shì)跟蹤與識(shí)別系統(tǒng)，通常包含下面三個(gè)部分：手的檢測(cè)、分割，手勢(shì)跟蹤與手勢(shì)識(shí)別。 手勢(shì)分割就是將有意義的區(qū)域（手）從手勢(shì)圖像中劃分出來(lái)，是基于視覺(jué)的手勢(shì)識(shí)別過(guò)程中的最為關(guān)鍵的一步，手勢(shì)分割的好壞直接影響后續(xù)的手勢(shì)跟蹤、手勢(shì)特征提取及手勢(shì)識(shí)別結(jié)果。對(duì)圖像序列中包含的手勢(shì)進(jìn)行跟蹤（二維跟蹤），即對(duì)投影到圖像平面的手進(jìn)行定位和跟蹤，是手勢(shì)識(shí)別的關(guān)鍵。手勢(shì)識(shí)別則是把模型參數(shù)空間中的軌跡（或點(diǎn)）分類(lèi)到該空間中

3、某個(gè)子集的過(guò)程。 本文主要研究了用于人機(jī)交互的手勢(shì)跟蹤與識(shí)別，分別對(duì)目標(biāo)分割算法，手勢(shì)跟蹤算法與識(shí)別算法進(jìn)行深入研究。主要工作總結(jié)如下： 1．首先提出一種基于膚色信息的自適應(yīng)輪廓模型實(shí)現(xiàn)手部輪廓的提取。鑒于這種自適應(yīng)輪廓模型對(duì)于具有凹形邊界的輪廓不能實(shí)現(xiàn)準(zhǔn)確提取，本文又提出一種自適應(yīng)形狀模型實(shí)現(xiàn)具有凸形與凹形兩類(lèi)邊界輪廓的準(zhǔn)確提取方法。 這種自適應(yīng)活動(dòng)輪廓模型是一種改進(jìn)的Snake模型，它使輪廓線(xiàn)能夠自適應(yīng)地收縮

4、或膨脹，降低了對(duì)初始輪廓的敏感性，在視覺(jué)跟蹤中不需在當(dāng)前幀中重新初始化，只需進(jìn)行目標(biāo)定位，較好地解決了Snake模型及Snake跳躍模型的不足，保證了對(duì)目標(biāo)輪廓的準(zhǔn)確提取。鑒于這種自適應(yīng)輪廓模型對(duì)于具有凹形邊界的輪廓不能實(shí)現(xiàn)準(zhǔn)確提取，本文又提出一種自適應(yīng)形狀模型，并運(yùn)用拆分和聚合技術(shù)對(duì)該形狀模型表示的‘中間輪廓’進(jìn)行修正，實(shí)現(xiàn)具有凸形與凹形兩類(lèi)邊界輪廓的準(zhǔn)確提取。 2．提出了一種基于各向異性核函數(shù)的均值漂移跟蹤算法，實(shí)現(xiàn)圖像序列

5、中區(qū)域跟蹤的穩(wěn)健性、有效性和實(shí)時(shí)性。并且，融合均值漂移算法與自適應(yīng)輪廓模型實(shí)現(xiàn)了圖像序列中的手部輪廓跟蹤。 該算法提出了一種形狀、大小、方向能自適應(yīng)于目標(biāo)局部結(jié)構(gòu)的變化的各向異性核函數(shù)，將其應(yīng)用于均值漂移算法實(shí)現(xiàn)目標(biāo)跟蹤，保證了跟蹤效果的穩(wěn)定性和魯棒性。而均值漂移與自適應(yīng)輪廓模型的融合算法，能夠根據(jù)跟蹤區(qū)域模板與目標(biāo)模板的相似性度量Bhattacaryya系數(shù)給出在跟蹤目標(biāo)被遮擋時(shí)的處理方法，有效地解決了目標(biāo)跟蹤的這一難題。

6、 3．基于上述區(qū)域跟蹤結(jié)果，利用手輪廓的方向直方圖實(shí)現(xiàn)用于人機(jī)交互的靜態(tài)手勢(shì)識(shí)別；基于上述輪廓跟蹤結(jié)果，利用隱馬爾可夫模型實(shí)現(xiàn)用于人機(jī)交互的動(dòng)態(tài)手勢(shì)識(shí)別。 方向直方圖滿(mǎn)足手勢(shì)識(shí)別中對(duì)光照變化的不敏感性和手勢(shì)平移、旋轉(zhuǎn)不變性等要求，并且可有效的表示手勢(shì)特征?；趨^(qū)域跟蹤結(jié)果，利用手輪廓的方向直方圖本文實(shí)現(xiàn)了用于人機(jī)交互的靜態(tài)手勢(shì)識(shí)別；基于輪廓跟蹤結(jié)果，同時(shí)應(yīng)用手形及手部運(yùn)動(dòng)兩大特征作為隱馬爾可夫模型的輸入實(shí)現(xiàn)了動(dòng)態(tài)手勢(shì)識(shí)別，提

7、高了手勢(shì)識(shí)別率，也達(dá)到了實(shí)時(shí)性的效果，且不必依賴(lài)數(shù)據(jù)手套等設(shè)備。 4．提出一種新的基于范例集的跟蹤器（CEE（CAMSHIFT Embedded Exemplar））跟蹤器，在圖像序列中同時(shí)實(shí)現(xiàn)手勢(shì)跟蹤與識(shí)別。 為克服基于范例集的手勢(shì)跟蹤不能實(shí)現(xiàn)復(fù)雜場(chǎng)景下手部輪廓特征的精確提取及手部動(dòng)作的不準(zhǔn)確預(yù)測(cè)，本文提出一種新的基于范例集的跟蹤器（CEE跟蹤器），充分利用跟蹤目標(biāo)的運(yùn)動(dòng)信息與顏色信息實(shí)現(xiàn)復(fù)雜場(chǎng)景下手勢(shì)的準(zhǔn)確跟蹤，而且