基于骨骼和深度模型的一類人體行為識別方法的研究.pdf

1、人體行為理解逐漸成為計算機視覺方面的研究熱點，無論是在監(jiān)控，人機交互和機器人領(lǐng)域都有著廣泛的作用。近幾年市面上出現(xiàn)了一款新型的圖像、音頻采集平臺，也就是大家熟識的Kinect。它不僅能提供傳統(tǒng)彩色相機提供的彩色圖像還可以輸出深度圖像，更進一步的在深度圖像的基礎(chǔ)上給出人體骨骼圖像。然而，當前Kinect平臺主要被用來實現(xiàn)人機交互、休閑娛樂。殊不知Kinect所擁有的豐富資源能夠大大豐富人體行為理解方面可以被利用的資源。本文借助Kinect

2、平臺在有限的場景范圍內(nèi)對人體行為做一些理解研究工作。
　　初期了解人體行為理解的研究背景和國內(nèi)外研究現(xiàn)狀以及常見算法，在熟悉Kinect平臺的基礎(chǔ)上搭建實驗測試平臺，同時設定實驗測試環(huán)境。分別對彩色圖像信息，深度圖像信息和骨骼圖像信息做了詳細的測試。其中包括圖像的分辨率，每幀速率;深度圖像的有效使用范圍，分辨率;骨骼圖像的有效范圍，遮擋問題等一系列的內(nèi)容進行詳細的測試，確保Kinect平臺搭建的有效性，以幫助實驗測試環(huán)境的選取。同

3、時有助于行為特征的提取，以及測試行為理解算法的有效性。
　　視頻中人體行為理解的一個重要問題是特征的選取問題。良好的特征能夠有效地描述人體姿勢、行為，可以說好的特征是能夠正確理解人體行為的基礎(chǔ)。文中選擇了人體骨骼特征，包括人體骨骼關(guān)節(jié)的角度、方向、相對位置，還有人體輪廓的高度和寬度的比值等參數(shù)。在實驗測試中發(fā)現(xiàn)這些特征性能優(yōu)異，但是仍存在一個無法避免的問題——遮擋問題。當Kinect骨骼圖像中關(guān)節(jié)點存在遮擋時，所給出的數(shù)據(jù)存在一定

4、的不確定性，即部分被遮擋部分的數(shù)據(jù)會存在跳變現(xiàn)象，這對被提取特征的有效性產(chǎn)生了影響，國內(nèi)外在遮擋問題上都沒有提出很好的解決方法。深度圖像反映客觀的人體姿勢，被遮擋部分不會出現(xiàn)骨骼數(shù)據(jù)中的不確定性，而且數(shù)據(jù)的魯棒性較好。通過HOG算法提取深度圖像中人體姿勢特征，結(jié)合骨骼特征，共同構(gòu)成描述人體行為的重要特征。
　　人體的行為可以被分解成姿勢序列。文中將行為理解分成兩部分，一部分通過提取的特征做姿勢識別;另一部分，理解人體姿勢序列實現(xiàn)人

5、體行為的理解。所涉及的算法也分別針對這兩個不同的任務。在特征提取中首先提到了HOG算法，它主要是提取深度圖像中的人體姿勢特征。SVM算法經(jīng)過測試有較好的識別效果，文中采用被廣泛使用的LIBSVM算法。在行為理解方面即序列分類問題上，貝葉斯方法有著較好的表現(xiàn)，在這里研究了基于貝葉斯理論的樸素貝葉斯算法，隱馬爾科夫算法在行為理解中的有效性。
　　最后在Visual Studio平臺上設計測試系統(tǒng)，完成圖像數(shù)據(jù)的讀取、顯示、實驗測試對比