基于特征融合與聯(lián)合決策的視頻跟蹤算法研究.pdf

1、由于計算機視覺技術的發(fā)展，視頻目標跟蹤技術在眾多相關應用領域受到了廣泛關注，例如智能視頻監(jiān)控、人機界面、智能機器人、運動分析等。其中，視覺表觀模型的構建是視頻目標跟蹤問題的重中之重。然而，運動目標自身的旋轉、扭曲、尺度等復雜變化，加上背景的擁簇、光線變化、外物遮擋、三維空間投影到二維平面所造成的信息缺失，以及實時處理的需求等情況的發(fā)生，都給高效表觀模型的構建帶來了極大挑戰(zhàn)。
　　本文主要圍繞視頻單目標跟蹤中視覺表觀模型的構建問題展

2、開，對特征融合與聯(lián)合決策對視頻跟蹤的影響進行了深入研究，并針對表觀模型構建的難點問題，提出了一些有效的新算法，對今后的研究學習產(chǎn)生了重要的理論意義和實用價值。
　　本文主要研究成果如下：
　　1.提出了一種基于時空卡爾曼融合（Time-Space Kalman Fusion，TSKF）模型的融合壓縮跟蹤方法。壓縮跟蹤（Compressive Tracking，CT）是一種既簡單又有效的跟蹤方法，它在保留大部分顯著信息的同時，

3、能夠將高維特征壓縮到低維空間。新方法正是利用壓縮跟蹤的這個優(yōu)勢，將其擴展到可見光與紅外傳感器特征融合跟蹤的問題上。此外，傳統(tǒng)的融合跟蹤算法對多傳感器特征進行單獨處理，沒有考慮它們在時間、空間上的自適應性，在更新過程中所積累的重要信息也沒有被充分挖掘出來。與傳統(tǒng)算法不同的是，新方法的融合模型同時在時間域和空間域完成，并利用擴展卡爾曼濾波器實現(xiàn)所提融合模型中融合系數(shù)的有效更新。實驗結果表明新方法具有較好的跟蹤精度，并在對抗噪聲方面具有較強的

4、魯棒性。
　　2.提出了一種基于多視角多核融合（Multi-View Multi-Kernel Fusion，MVMKF）模型的可見光與紅外傳感器融合跟蹤方法。對視頻目標跟蹤問題來說，可見光與紅外傳感器具有互補的有用信息，且對目標與背景的分離具有一致性的判別信息。多視角學習方法能夠將多個包含一致性和互補性特點的視角特征統(tǒng)一結合，因此近年來得到了研究學者的廣泛關注。論文所提的多視角多核模型同時將可見光與紅外傳感器視角的特征信息考慮進

5、來，使用多核框架對視角特征的重要性進行學習，然后根據(jù)各自的表現(xiàn)進行加權融合。此外，由于分類器級和復雜特征級多視角學習的優(yōu)越表現(xiàn)，論文的跟蹤過程由復雜壓縮特征域下的貝葉斯分類器實現(xiàn)。實驗數(shù)據(jù)表明，新方法在準確率、魯棒性及速度方面都具有較好表現(xiàn)。
　　3.提出了一種基于結構化稀疏表示的視覺核函數(shù)聯(lián)合跟蹤與識別（Kernel Joint Tracking and Recognition，KJTR）方法。視頻目標的跟蹤與識別兩者緊密相連、

6、相互依存，兩者的結合能夠取長補短、相得益彰。為了同步處理視頻目標的跟蹤與識別，論文采用了最優(yōu)聯(lián)合決策與估計（Joint Decision and Estimation，JDE）模型促使決策（識別）與估計（跟蹤）有潛力達到全局最優(yōu)，并利用迭代學習過程實現(xiàn)跟蹤與識別結果。此外，文中表觀模型依靠能夠同時表征全局和局部信息的結構化稀疏表示（Structured Sparse Representation，SSR）模型建立。同時，我們在學習過程中