手勢三維跟蹤中的觀測似然模型研究.pdf

1、人機交互(Human-Computer Interaction，HCI)作為計算機研究分支之一，越來越受到人們的重視。尤其是隨著移動計算設備的增加以及計算機性能的提升，傳統(tǒng)的人機交互方式顯得的越來越不方便，極大地限制了計算機的使用范圍和人的表達方式，因此對自然的，和諧的人機交互方式進行深入地探索變得尤為重要。人手作為人的重要表達工具之一，可以自然、方便地表達人的交互意圖，深化對手勢交互的研究有助于推進和諧人機交互界面的發(fā)展。同時由于手勢

2、交互系統(tǒng)綜合了機器視覺，人工智能，圖像分析以及并行計算等多方面的知識，對其進行深入探索也會促進各交叉學科的發(fā)展。
　　 基于視覺的三維運動人手跟蹤的主要任務是根據(jù)捕獲的視頻幀信息恢復出當前手勢的運動狀態(tài)。人手具有復雜的關節(jié)結構，至少需要26個自由度才能準確地描繪出手勢的變化。因此，手勢的狀態(tài)一般都由高維狀態(tài)向量描述。在單目條件下，通過捕獲的二維視頻信息來恢復高維手勢狀態(tài)存在兩方面的困難，一是觀測空間與狀態(tài)空間的不對稱導致在二者匹

3、配時容易出現(xiàn)歧義性，即一個觀測值對應多個最優(yōu)狀態(tài)解;二是在如此高維的狀態(tài)空間中搜索最優(yōu)狀態(tài)將帶來龐大的計算量，制約了系統(tǒng)運行的實時性。因此利用視覺信息進行三維運動人手跟蹤確實是一項非常具有挑戰(zhàn)性的課題。
　　 本論文依托國家自然科學基金(No.61173079，No.60973093)，山東省自然科學基金重點項目(ZR2011FZ003)等項目基金的支持，對單目條件下三維運動人手跟蹤中涉及的一些關鍵問題進行了研究。在三維運動人手

4、跟蹤中，觀測似然模型的作用是根據(jù)當前觀測值來計算手勢狀態(tài)的概率似然值，它通過比較觀測特征和模型特征之間的匹配程度來計算手勢狀態(tài)值和觀測值之間的相似性。本文圍繞觀測似然模型展開研究，探討了觀測特征的提取方法，以及如何根據(jù)這些特征來建立似然模型，同時對如何降低模型跟蹤自由度，減少跟蹤方法中的采樣個數(shù)也進行了探索。本文的主要工作如下:
　　 (1)基于膚色特征的手勢前景提取
　　 實現(xiàn)了兩種基于膚色特征的手勢前景提取方法。第一

5、種方法是在YCrCb空間下，利用高斯混合模型對膚色建模，再根據(jù)閾值法實現(xiàn)了手勢前景提取。在樣本訓練過程中采用的是在線訓練的方式，在手勢跟蹤初始化階段對手勢區(qū)域進行實時地膚色采樣，根據(jù)采集的膚色樣本快速的得到高斯混合模型的參數(shù)，這樣可以增加對光照條件的適應性，同時減少了所需樣本的數(shù)量。第二種方法是將貝葉斯膚色分類方法與背景差分方法結合起來提取手勢前景區(qū)域。由于貝葉斯膚色分類方法簡單，易于實現(xiàn)，所以本文利用該方法來提取手勢幀圖像中的膚色像素

6、。但由于貝葉斯方法需要根據(jù)一定的膚色樣本來訓練分類器，樣本選取的好壞以及閾值的選擇對分割效果具有很大的影響，所以分割的結果往往不夠精確。背景差分方法將當前幀圖像與背景圖像做差值運算，根據(jù)差值的大小來提取前景圖像，但由于在手放入場景后，會引起場景光線的變化，產(chǎn)生陰影，背景差分會將這些非前景區(qū)域內(nèi)的變化誤認為是前景，當這些變化的部分不具有膚色特性時，可以利用貝葉斯方法去除;另一方面，當用貝葉斯膚色分類方法分割的不夠完全時，利用背景差分可以進

7、一步去除那些屬于背景的像素。因此二者的結合可以互相彌補對方的缺點，提取效果要好于僅使用單一的方法。此外，在手臂穿戴衣服條件下，減背景會把運動的整個手臂也當做是前景區(qū)域，由于我們只對人手部分進行跟蹤，所以可以利用貝葉斯膚色分類方法去除手腕以上的非膚色部分。
　　 (2)利用提取的手勢前景和圖像邊緣建立觀測似然模型
　　 在獲取手勢前景后，可以根據(jù)模型投影與手勢前景的吻合程度來建立一個相似似然函數(shù)。圖像前景提取的好壞在很大程

8、度上受光照條件的影響，當提取的結果不夠完整時，會影響相似似然值的精確性。圖像邊緣作為一種基于圖像梯度變化提取的特征，對光照變化具有很好的魯棒性。此外，在手指存在遮擋時，有時也可以通過邊緣得到手指的輪廓。這樣，根據(jù)模型的投影輪廓和邊緣檢測得到的圖像邊緣之間的重合程度建立第二個相似度似然函數(shù)。第一個相似似然函數(shù)是根據(jù)手勢前景和模型投影之間非重疊區(qū)域的大小來計算二者之間的相似性;第二個相似似然函數(shù)是根據(jù)圖像邊緣與模型輪廓間的Chamfer距離

9、來衡量二者的相似性的。為了有效地將二者應用在后續(xù)的粒子濾波跟蹤中，根據(jù)二者計算的權值的方差定義了一種結合方法。
　　 (3)引入手勢約束關系，降低模型自由度
　　 將常用的手勢約束關系引入到三維手勢模型中，利用靜態(tài)約束關系來定義每個關節(jié)角度的變化范圍;利用動態(tài)約束關系來描述關節(jié)角度間的線性關系，當用這些線性關系來描述關節(jié)的運動時，可以將手勢自由度由原來的26個降為14個。在應用這些手勢約束后，可以使三維手勢模型更接近真實

10、的人手，避免了病態(tài)手勢的出現(xiàn)，同時也降低了跟蹤所需的自由度。
　　 (4)引入分解采樣方法，降低跟蹤所需的粒子數(shù)
　　 在利用粒子濾波技術來跟蹤三維手勢運動時，需要根據(jù)在手勢狀態(tài)空間中采集的樣本來近似手勢狀態(tài)的后驗分布。由于手勢狀態(tài)是一個高維狀態(tài)，且粒子濾波的一個缺點就是樣本數(shù)量會隨著狀態(tài)維數(shù)的增加呈指數(shù)形式增長。為了降低跟蹤過程所需的粒子數(shù)，將分解采樣方法引入粒子濾波當中，將自由度分為全局自由度和局部自由度，先對全局自