用于視頻動作檢測的時空多任務神經網絡.pdf

1、近些年來，通過使用深度學習技術，視頻中的動作檢測任務已經取得了十分顯著的進步。在實際的應用中，更多的需求是在未裁剪的長視頻中進行動作檢測任務，然而由于在時間維度上定位一個動作的難度較大，目前已有方法的準確率都并不能令人滿意。為了解決這一挑戰(zhàn)，本文提出了一個基于時空特征的、多任務的、三維卷積神經網絡，用于在未剪裁長視頻中進行動作檢測（包括時序定位）。首先，本文提出了一個融合網絡結構，用于在訓練階段提取視頻級時空特征。通過在動作識別任務數(shù)據(jù)

2、集上評價這一融合網絡結構，實驗結果說明了視頻級時空特征的有效性。第二，基于這一融合結構，本文提出了一個時空的多任務神經網絡結構，這一網絡結構中包含兩個分支輸出層分別用處動作分類和動作的時序定位。為了達到較高的時序定位的準確率，本文展現(xiàn)了一個新的時序回歸方法，用于校正包含一個動作的時序候選框。與此同時，為了更好的利用視頻中豐富的運動信息，本文引入了一個新的視頻表示方法，交錯圖像，作為神經網絡的一個另外的輸入。綜合以上本文提出的方法，最終本