基于結構化稀疏表示模型的多模態(tài)目標跟蹤方法研究.pdf

1、隨著智能視頻監(jiān)控系統(tǒng)的廣泛普及，計算機視覺理論研究不斷深入，其中目標跟蹤在理論研究和實際應用上獲得了越來越多的重視，已然成為計算機視覺研究范疇中的重要課題。為了克服在單一的可見光視頻中目標跟蹤算法應對復雜環(huán)境的局限性，如霧霾天氣、低照度、背景雜亂等，可以通過融合除了可見光視頻外的其他模態(tài)的視頻信息，如熱紅外視頻，從而實現(xiàn)對目標更穩(wěn)健持續(xù)的跟蹤。近年來的多模態(tài)目標跟蹤方法，尤其是可見光-熱紅外跟蹤，主要集中在研究目標外觀的稀疏表示模型上，

2、因為稀疏表示模型具有抑制噪聲和降低誤差的能力。然而，現(xiàn)有的多模態(tài)目標跟蹤方法大多只考慮候選目標的整體結構或其內在結構，忽略了目標的整體和內部信息對于目標跟蹤的可靠性，未能將多模態(tài)視頻信息實現(xiàn)自適應融合。
　　針對基于稀疏表示的多模態(tài)目標跟蹤問題，一方面，如何在融合兩個模態(tài)的視頻信息的同時兼顧各模態(tài)下的稀疏表示系數(shù)的相關性，實現(xiàn)更加魯棒和穩(wěn)定的多模態(tài)目標跟蹤。另一方面，如何構建一個目標稀疏表示模型，既能系統(tǒng)地表示跟蹤目標的全局和局部

3、外觀，同時又能抑制背景信息的影響。本文主要進行了以下兩方面的研究:
　　(1)在多模態(tài)目標跟蹤過程中，為了應對不同的場景條件，做到自適應地融合各模態(tài)信息，在不同場景條件下適當取舍各模態(tài)視頻信息，實現(xiàn)更加準確的表達目標外觀，本文在粒子濾波框架下，提出了一種基于協(xié)同稀疏表示模型的多模態(tài)目標跟蹤方法。本文提出的多模態(tài)協(xié)同稀疏表示模型考慮到了不同模態(tài)的視頻信息在不同場景條件下對于目標表達的貢獻度不同，使用了能夠自適應更新的模態(tài)權重。其次，

4、本文在該模型的聯(lián)合求解過程中為保證不同模態(tài)之間的稀疏重構系數(shù)的一致性，加入了稀疏重構系數(shù)的跨模態(tài)一致性約束。最后，本文在公開的可見光-熱紅外目標多模態(tài)單目標跟蹤數(shù)據(jù)集上進行了大量實驗驗證了該算法的有效性。
　　(2)為了更好的表達目標外觀，更魯棒地應對多模態(tài)目標跟蹤過程中目標發(fā)生的較大的外觀變化，通過觀察可知，在目標跟蹤的過程中，目標在不同場景條件下，目標內部的局部圖像塊對于跟蹤結果表達的貢獻度不同，于是本文提出了一種基于加權結構

5、化稀疏表示的多模態(tài)目標跟蹤算法。該算法在粒子濾波框架下討論目標跟蹤問題，在對目標進行稀疏表示的同時，通過一種特殊的特征提取方式構建候選樣本與目標模板的局部圖像塊之間、候選樣本集與目標模板集之間的多模態(tài)結構化稀疏表示模型，兼顧了目標的局部和全局外觀信息。其次，該模型考慮到目標遮擋或其他干擾因素的影響，引入了能夠反映局部圖像塊對于目標表達的重要性的局部圖像塊權重及其跨模態(tài)一致性約束，為跟蹤目標建立了對于遮擋和形變不敏感的多模態(tài)加權結構化稀疏