基于多特征融合的視頻分類方法研究.pdf

1、隨著計算機技術和多媒體技術的飛速發(fā)展，人們獲取和存儲數字視頻變得更加容易。近些年來互聯網的飛速發(fā)展，使得數字視頻的傳播也變得更加便捷，數字視頻慢慢成為互聯網用戶交流和分享信息的主要途徑。數字視頻數量的飛速增加，使人們整理和分類數據工作面臨巨大的挑戰(zhàn)，傳統人工標注和分類的方法顯然已經無法滿足視頻增長的需求。視頻的自動分類技術作為計算機視覺一個重要的分支，已經成為目前熱門的研究課題。
　　視頻數據相對于文字、圖像等靜態(tài)信息，其內部信息

2、的組成結構相對復雜，傳統計算機視覺中研究人員手工設計的特征無法有效地提取到其中關鍵的動作信息。隨著深度學習技術在圖像領域的飛速發(fā)展，利用深度學習技術提取視頻中關鍵的特征信息成為目前視頻分類的主要特征提取方法。本文依托深度學習模型來提取視頻中的關鍵特征信息，圍繞著深度特征融合的視頻分類方法進行研究。針對二維卷積神經網絡和三維卷積神經網絡提取的深度特征，本文提出了兩種視頻分類的方法。針對三維卷積神經網絡提取的動作特征，提出了多時間尺度特征融

3、合的視頻分類方法，使得特征能夠覆蓋不同類型動作信息，從而提高特征多樣性。在特征編碼過程中，本文提出新的特征編碼方法將定長圖像序列的特征轉換為整個視頻的特征。針對二維和三維卷積神經網絡提取的特征，提出了注意力多特征融合的視頻分類方法。該算法利用長短時記憶單元中的上下文特征信息，通過注意力機制對二維卷積神經網絡提取的視頻幀語義特征進行修正，從而過濾背景等于擾信息，提高算法識別率。在特征融合過程中，提出自學習的加權融合策略，通過神經網絡訓練得