基于Kinect平臺融合視頻信息和骨骼點數(shù)據(jù)的人體動作識別.pdf

1、人體動作識別是計算機視覺領域研究的熱點問題，在智能機器人、視頻監(jiān)控等智能化系統(tǒng)中有著廣泛的應用。由于人體運動本身以及運動場景的復雜性，人體動作識別仍然面臨著諸多困難和挑戰(zhàn)。傳統(tǒng)的動作識別依靠單一的數(shù)據(jù)模式，提取的動作特征表述能力有限，約束了動作識別精度的提高。尤其是相似性動作的識別問題，以及缺少訓練樣本條件下的動作識別問題。本文在Kinect平臺下，重點針對相似性的動作識別及缺少訓練樣本條件下的動作識別問題，研究了融合視頻信息和骨骼點數(shù)

2、據(jù)的人體動作識別方法。主要工作包括以下幾個方面:
　　首先是數(shù)據(jù)的準備，為了獲取動作識別所需的視頻和骨骼點數(shù)據(jù)，我們研究了Kinect的相關硬件組成和功能以及數(shù)據(jù)解析原理，在此基礎上，完成了動作相關的視頻和骨骼點數(shù)據(jù)的同步采集。同時，也做了相應的延伸，開發(fā)了兩個Kinect模塊的數(shù)據(jù)同步采集系統(tǒng)，可以為后續(xù)的研究提供不同角度的數(shù)據(jù)采集平臺。
　　在動作特征的表述方面，結合Kinect提供的骨骼點數(shù)據(jù)和視頻數(shù)據(jù)，分別進行了兩種

3、特征表述的研究。在骨骼點數(shù)據(jù)的特征提取方面，通過構建關節(jié)點運動的速度向量，結合人體骨架結構向量，求取相關角度，表達人體姿態(tài)潛在的運動信息，提高姿態(tài)的鑒別能力。在視頻數(shù)據(jù)的特征提取方面，通過骨骼點數(shù)據(jù)定位到彩色圖像上的一塊感興趣區(qū)域，提取SURF特征描述子，結合詞袋模型，表達人體運動的相關特征，針對遮擋導致的人體骨架模型變形的情況，補充有效的判據(jù)信息，提高人體動作識別的精度，經過實驗驗證，表明了特征的有效性。
　　在動作識別的方法方

4、面，首先在單一的數(shù)據(jù)模式上，重點基于骨骼點數(shù)據(jù)，針對不同的動作識別任務，提出了不同的識別方法，驗證了骨架數(shù)據(jù)特征的有效性;然后針對存在遮擋，骨骼點錯亂，導致骨架變形的情況，研究了如何融合有效的視頻信息進行動作識別。
　　在基于骨骼點數(shù)據(jù)的動作識別方面，針對動作特征表述類內差異大，類間差異小的情況，研究了類內多模板匹配結合PCA最大可分性的方法。考慮類內差異性，從每個動作類別提取若干子類，構造訓練模板，將測試樣本與訓練樣本投影到最大

5、可分性的空間進行匹配投票，識別相應的動作。針對相似性動作識別，通過詞袋模型構造姿態(tài)字典，引入GMM對相似的姿態(tài)按照概率軟分配，并且考慮類平衡的問題，對算法進行了優(yōu)化。針對缺少訓練樣本的情況下，基于One-shot learning的小樣本學習的思想，通過K近鄰方法從一組訓練樣本中提取關鍵姿態(tài)。經過篩選過濾，保留了鑒別能力較強的關鍵姿態(tài)，并根據(jù)他們對不同類別的貢獻率進行加權投票，同時進行了實時的在線測試，取得了較好的效果。
　　在融