基于動(dòng)態(tài)協(xié)同圖的多模態(tài)目標(biāo)跟蹤.pdf

1、視頻跟蹤也稱目標(biāo)跟蹤，即在特定視頻序列中，持續(xù)有效地獲取特定目標(biāo)的時(shí)序信息，是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中一個(gè)重要且基礎(chǔ)性的研究課題，也是智能視頻監(jiān)控的關(guān)鍵與核心技術(shù)。
　　近年來(lái)，視覺(jué)跟蹤已經(jīng)取得了許多突破，出現(xiàn)了許多基于不同理論框架的跟蹤算法，這些算法在時(shí)間和精度兩個(gè)方面都顯著提升了目標(biāo)跟蹤的性能。同時(shí)，許多標(biāo)準(zhǔn)的包含復(fù)雜挑戰(zhàn)因素的目標(biāo)跟蹤數(shù)據(jù)集被公開(kāi)，用于對(duì)不同的目標(biāo)跟蹤算法做性能評(píng)估，這些工作奠定了視覺(jué)跟蹤在理論和應(yīng)用上的基礎(chǔ)。雖

2、然這些跟蹤算法已經(jīng)取得了良好的跟蹤效果，但在許多復(fù)雜的環(huán)境或極端條件下其算法魯棒性仍有待提高，如低光照、局部遮擋、嚴(yán)重霧霾等。為了克服上述問(wèn)題，本文通過(guò)引入熱紅外信息來(lái)彌補(bǔ)可見(jiàn)光信息的缺陷，即利用可見(jiàn)光(RGB)模態(tài)和熱紅外(T)模態(tài)信息間的互補(bǔ)性，有效提高在復(fù)雜條件下的目標(biāo)跟蹤性能。
　　本論文的主要工作和貢獻(xiàn)如下:
　　(1)在目標(biāo)跟蹤方面，為了解決基于檢測(cè)的跟蹤框架中目標(biāo)漂移的問(wèn)題，提出了基于吸收馬爾科夫模型的目標(biāo)跟蹤

3、算法，該方法主要是在結(jié)構(gòu)化SVM跟蹤框架下，基于圖像塊加權(quán)信息融合表示方法實(shí)現(xiàn)，減弱了背景噪聲對(duì)分類器的影響。傳統(tǒng)的加權(quán)信息融合表示方法指的是先把目標(biāo)矩形框劃分成多個(gè)均勻非重疊的小圖像塊。其次，以半監(jiān)督的方式為每個(gè)圖像塊分配一個(gè)權(quán)重，來(lái)表示該圖像塊在表達(dá)目標(biāo)上的重要性，即權(quán)重越大，該圖像塊表示目標(biāo)的可能性越大，反之亦然。再者，本文利用了吸收馬爾科夫可以綜合考慮目標(biāo)對(duì)象的外觀差異和空間分布以及背景信息的特點(diǎn)，在具有吸收馬爾科夫性質(zhì)的圖結(jié)構(gòu)

4、上，對(duì)圖像塊的初始權(quán)重進(jìn)行傳播。同時(shí)，考慮到初始種子點(diǎn)可能含有噪聲，提出種子點(diǎn)優(yōu)化算法對(duì)初始種子點(diǎn)進(jìn)行篩選，避免含噪聲的種子點(diǎn)對(duì)正確結(jié)果的影響。最后，將學(xué)習(xí)的權(quán)重融入到基于SVM的跟蹤算法中，提高算法的穩(wěn)定性。在公開(kāi)可用的基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，所提出的算法具有良好的性能。
　　(2)在多模態(tài)目標(biāo)跟蹤數(shù)據(jù)集方面，由于當(dāng)前公開(kāi)的多模態(tài)數(shù)據(jù)集，如OSU-CT、LITIV等，其存在場(chǎng)景單一、挑戰(zhàn)因素較少、視頻總幀數(shù)較少等缺點(diǎn)，這對(duì)于多模

5、態(tài)目標(biāo)跟蹤是不公平的。為了更有效地評(píng)估各種多模態(tài)目標(biāo)跟蹤算法，建立了一個(gè)統(tǒng)一的RGB-T多模態(tài)目標(biāo)追蹤數(shù)據(jù)集。與現(xiàn)有的數(shù)據(jù)集相比，新構(gòu)建的數(shù)據(jù)集具有以下優(yōu)點(diǎn):1)對(duì)于大規(guī)模性能評(píng)估(總幀數(shù):210K，每個(gè)視頻對(duì)的最大幀數(shù):8K)，其規(guī)模足夠大，挑戰(zhàn)場(chǎng)景比較豐富。2)RGB-T視頻對(duì)之間的對(duì)齊非常準(zhǔn)確，具有很高的配準(zhǔn)性，不需要預(yù)處理和后處理等額外操作。3)為了分析不同程度的遮擋敏感性能，標(biāo)注了遮擋程度等級(jí)，數(shù)據(jù)集還包括低光照、背景雜亂、尺

6、度變化和運(yùn)動(dòng)模糊等復(fù)雜變化的挑戰(zhàn)因素。
　　(3)在多模態(tài)目標(biāo)跟蹤方面，提出了一種稱為加權(quán)稀疏表示正則化圖學(xué)習(xí)的新型圖模型，用于學(xué)習(xí)使用RGB可見(jiàn)光和熱紅外多光譜數(shù)據(jù)進(jìn)行多模態(tài)目標(biāo)跟蹤的魯棒目標(biāo)表示。具體來(lái)說(shuō)，被跟蹤的對(duì)象用具有圖像塊作為節(jié)點(diǎn)的圖來(lái)表示，圖中邊表示相連的兩圖像塊之間親和性關(guān)系，該圖模型是從兩個(gè)方面動(dòng)態(tài)學(xué)習(xí)的。首先，基于加權(quán)稀疏表示模型來(lái)優(yōu)化表示兩個(gè)相鄰節(jié)點(diǎn)的外觀兼容性的圖親和度，親和度矩陣包含了圖的結(jié)構(gòu)和邊的權(quán)重信