基于深度圖像和骨骼數(shù)據(jù)的人體動作識別.pdf

1、人體動作識別是計算機視覺和模式識別中一個非?；钴S的領(lǐng)域，并且在自然人機交互、虛擬現(xiàn)實、智能視頻監(jiān)控和多媒體搜索領(lǐng)域中有很多潛在的應(yīng)用。早期的動作識別算法都是針對彩色攝像機錄制的彩色視頻序列。隨著攝像技術(shù)的快速發(fā)展，廉價的深度攝像機的誕生，例如微軟的Kinect，大大促進了包括動作識別在內(nèi)的視覺識別技術(shù)的發(fā)展。和傳統(tǒng)的彩色圖像相比，深度數(shù)據(jù)能夠提供額外的第三維度的深度信息，該信息不僅對光照的變化不敏感，而且能夠忽略由于衣服，皮膚，頭發(fā)以及

2、背景產(chǎn)生的顏色差異。
　　論文圍繞 Kinect體感設(shè)備獲取的深度數(shù)據(jù)，實現(xiàn)了多種快速且有效的人體動作識別方法，研究內(nèi)容如下：
　　第一，針對傳統(tǒng)的彩色視頻序列算法實現(xiàn)復(fù)雜，無法做到實時識別動作的問題，論文在骨骼數(shù)據(jù)的基礎(chǔ)上提出了一種實時且有效的人體動作識別算法。該算法提取20個關(guān)節(jié)點中的15個關(guān)鍵點，然后對15個關(guān)鍵點建模，分別獲取它們的位置模型，運動模型以及角度模型，將這些模型進行組合，用HMM模型對動作進行分類。在微軟

3、的權(quán)威數(shù)據(jù)庫MSR Action3D進行實驗，實驗結(jié)果表明，該算法能夠做到實時且識別率較高并且能夠在處理深度骨骼視頻時能做到實時識別。
　　第二，針對傳統(tǒng)的彩色視頻二維信息不足導(dǎo)致動作識別效果不佳的問題，提出一種新的基于三維深度圖像序列的動作識別方法。該算法在時間維度上提取了時間深度運動圖（TDMM）來描述動作。在三個正交的笛卡爾平面上，將深度圖像序列分成幾個子動作，對所有子動作作幀間差分并累積能量，形成深度運動圖來描述動作的動態(tài)

4、特征。最后用支持向量機（SVM）進行動作的分類。在兩個權(quán)威數(shù)據(jù)庫MSR Action3D和MSRGesture3D上進行實驗驗證，實驗結(jié)果表明，該方法能夠快速對深度圖像序列進行計算并取得較高的識別率，并滿足深度視頻序列的實時性要求。
　　第三，在時間深度運動圖（TDMM）的基礎(chǔ)上，提出了時間深度模型（TDM），在空間維度上，用空間金字塔方向梯度直方圖(SPHOG)對時間深度模型進行編碼得到一種全新的描述符，即TDM-SPHOG描述