Shallow and Deep Learning for Robust Online Object Tracking.pdf

1、本論文探討了計算機視覺領(lǐng)域最為根本的視覺目標跟蹤算法問題。目標跟蹤算法廣泛地應(yīng)用于各種智能監(jiān)控場景，人機交互，醫(yī)學成像，以及自動駕駛等等，能夠顯著提高監(jiān)控效率，降低社會成本，具有廣泛的研究意義和應(yīng)用前景。盡管目標跟蹤算法受到較多關(guān)注，但其性能依然受限于目標形態(tài)變化、快速運動、光照變化、嚴重遮擋、離開視野等等。本論文工作主要包括利用淺度和深度的學習提高視覺跟蹤算法的魯棒性。研究成果主要體現(xiàn)在如下幾個方面：
　　首先，本文提出了一種基

2、于多相關(guān)濾波器的長期跟蹤算法，各濾波器具有不同的更新策略，協(xié)同地進行長期跟蹤。本文首先回顧了目標跟蹤的模型更新問題，即模型更新過快導(dǎo)致漂移，更新過慢導(dǎo)致無法適應(yīng)目標的外觀形狀變化。在嚴重遮擋或者目標消失的時候，本文設(shè)計了基于支持向量機的重檢測機制，一旦目標重新進入視野，本文算法能夠重新捕獲目標從而對跟蹤目標。為了提高濾波器的性能，我們還提出了一種新的亮度直方圖特征對目標進行描述。廣泛的實驗證明，本文的算法性能優(yōu)越，能有效解決嚴重遮擋、目

3、標丟失、尺度變化等跟蹤難點。
　　其次，鑒于傳統(tǒng)的手工設(shè)計的特征對目標跟蹤性能的影響，本文探討了如何有效利用深度學習特征提高跟蹤算法的魯棒性。典型的深度神經(jīng)網(wǎng)絡(luò)描述了輸入圖像的不同層次的抽樣信息，比如靠近輸入端的網(wǎng)絡(luò)層更注重圖像的紋理細節(jié)，而靠近輸出端的網(wǎng)絡(luò)層保留的是圖像的抽象語義信息。本文提出了先利用高層的抽象信息對目標進行粗略定位，再利用淺層的紋理細節(jié)進行精細定位。這種自粗向細的跟蹤算法結(jié)合了深度學習和相關(guān)濾波器的優(yōu)勢，在大規(guī)

4、模的目標跟蹤測試集上取得了當前最好的結(jié)果，速度也領(lǐng)先于當前基于深度學習的跟蹤算法。
　　再次，本文探討了相關(guān)濾波器和卷積濾波器的聯(lián)系，并且提出了利用三層的深度神經(jīng)網(wǎng)絡(luò)直接學習空間上的相關(guān)性。本文采用一種保守的策略更新深度的卷積神經(jīng)網(wǎng)絡(luò)，使得學到的深度網(wǎng)絡(luò)更好的保留了關(guān)于跟蹤目標的長期記憶。深度網(wǎng)絡(luò)的輸出響應(yīng)和相關(guān)濾波器的輸出響應(yīng)同時用來預(yù)測目標出現(xiàn)的位置。
　　最后，本文提出了利用深度卷積神經(jīng)網(wǎng)絡(luò)在大規(guī)模的視頻序列上學習時間

5、不變性特征來對目標進行跟蹤。實驗結(jié)果表明時間不變性特征對不同運動模式都較為魯棒，相比于傳統(tǒng)的基于梯度的手工設(shè)計的特征，能夠明顯提升目標跟蹤算法的性能。本方法采用線性的相關(guān)濾波器對時間序列上相鄰幀進行建模。
　　綜上所述，本文對視覺目標跟蹤算法的關(guān)鍵問題點進行了廣泛深入的研究。針對模型更新問題，利用淺度學習和長短期記憶效應(yīng)設(shè)計跟蹤算法；針對傳統(tǒng)手工特征的局限，提出深度學習特征和多相關(guān)濾波器相結(jié)合的跟蹤算法；此外，本文討論了深度神經(jīng)網(wǎng)