動態(tài)手勢識別中的時空特征表示和字典優(yōu)化研究.pdf

1、手勢識別是人機交互的重要組成部分。特別是近年來隨著RGB-D相機(如Kinect)的發(fā)展，基于RGB-D數(shù)據(jù)的手勢識別研究是當前手勢識別中的一個研究熱點。本文研究的重點是如何從RGB-D數(shù)據(jù)中有效地提取時空特征，以及如何對提取的特征進行字典學習和優(yōu)化。論文的主要工作和貢獻如下:
　　1.提出了基于RGB-D的一次學習手勢識別方法。由于一次學習是指每類只有一個訓練樣本，因此基于RGB-D的一次學習識別研究有兩個重要的挑戰(zhàn)性問題，即在

2、每類只有一個訓練樣本的前提下如何提取豐富的、具有分辨性特征以及如何學習一個有效的識別模型。(1)對于特征提取，提出了一種新的從RGB-D數(shù)據(jù)中提取時空特征方法:三維增強運動尺度不變特征轉換(3D EMoSIFT)。3D EMoSIFT具有旋轉和尺度不變性，可以獲取更緊湊、更豐富的特征信息;(2)為了獲取一個穩(wěn)定性高、識別效果好的模型，首先對所有訓練樣本的特征進行Kmeans聚類以獲取視覺字典（即聚類中心）;然后，采用同步正交匹配追蹤(S

3、OMP)算法進行特征編碼，使每個特征能夠由字典中的多個詞通過線性組合來表示。與矢量量化相比，SOMP算法具有更小的重構誤差以及更好的識別效果。
　　2.提出了一種從RGB-D數(shù)據(jù)中快速提取時空特征的方法:三維稀疏運動尺度不變特征轉換(3D SMoSIFT)算法。首先，分別對每幀RGB圖像和深度圖像構建金字塔;其次在RGB或者深度圖像金字塔中利用角點檢測和稀疏光流算法檢測和跟蹤穩(wěn)定的關鍵點;然后提取關鍵點附近的局部區(qū)域（包含RGB-

4、D數(shù)據(jù)），并在局部區(qū)域構建三維梯度空間和三維運動空間;最后分別在三維梯度空間和三維運動空間中計算尺度不變特征轉換(SIFT)特征。3D SMoSIFT不僅具有旋轉和尺度不變特性而且對部分遮擋具有較強的魯棒性。此外，還分析了3D EMoSIFT和3D SMoSIFT的時間復雜度。從實驗結果看，3D SMoSIFT比以往的時空特征算法(Harrid3d，MoSIFT,3D MoSIFT等)和3D EMoSIFT識別效果都好，并且3D SMo

5、SIFT處理速度達到實時。
　　3.提出了一種類字典優(yōu)化算法:特定類互信息最大化(CSMMI)。CSMMI的目標是每類學習一個緊湊的、具有分辨性的字典。與基于視覺詞袋模型中所有類學習一個共享字典不同，CSMMI提出了一個互信息最大化目標函數(shù)來優(yōu)化特定類字典，該目標函數(shù)融合了類內(nèi)和類間互信息。CSMMI的目標函數(shù)有兩個優(yōu)點:(1)保留類內(nèi)的固有結構信息:對特定類的字典，已經(jīng)選擇的詞與該字典中未選擇的詞之間具有互信息最大;(2)減少類