基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)屬性識別.pdf

1、隨著當(dāng)前監(jiān)控視頻數(shù)據(jù)的爆炸式增長，如何高效分析視頻中的數(shù)據(jù)內(nèi)容，并使其為智慧城市服務(wù)成為近年來關(guān)注熱點。其中，對監(jiān)控視頻數(shù)據(jù)的分析，主要涉及對視頻中目標(biāo)進(jìn)行定位跟蹤以及精細(xì)化屬性識別兩個領(lǐng)域。本文針對上述領(lǐng)域分別研究視頻目標(biāo)跟蹤以及目標(biāo)屬性識別等工作，并分別結(jié)合多任務(wù)學(xué)習(xí)方法，實現(xiàn)相應(yīng)的高效算法。其中主要成果有以下兩方面:
　　(1)在目標(biāo)跟蹤領(lǐng)域，尤其是多模態(tài)目標(biāo)跟蹤中，仍存在諸多問題。一方面，對每個模態(tài)質(zhì)量的評估方法對多個模態(tài)

2、的融合機(jī)制至關(guān)重要;另一方面，每個模態(tài)中的局部信息同樣能夠提升跟蹤目標(biāo)特征表示的魯棒性。因此，本文針對如何挖掘目標(biāo)區(qū)域的關(guān)聯(lián)關(guān)系以及高效融合多個模態(tài)信息這兩方面進(jìn)行改進(jìn)，提出一種基于多任務(wù)拉普拉斯稀疏表示的多任務(wù)目標(biāo)跟蹤算法。具體實現(xiàn)方式為:給定第一幀某跟蹤目標(biāo)的真值包圍盒，該算法首先提取多個不重疊的局部圖像塊集合，并通過多任務(wù)聯(lián)合學(xué)習(xí)的方式實現(xiàn)可見光和熱紅外兩種模態(tài)下的目標(biāo)特征的稀疏表示。然后，將兩個模態(tài)的特征連接成一個特征向量用于表

3、示目標(biāo)包圍盒的特征。其次，我們利用拉普拉斯約束將每一個圖像塊之間的相似性引入到已有模型中，進(jìn)一步優(yōu)化稀疏表示中的稀疏系數(shù)，構(gòu)成拉普拉斯稀疏表示。與此同時，該算法結(jié)合兩種模態(tài)之間的利弊優(yōu)劣，引入新的模態(tài)權(quán)重計算方式，將更準(zhǔn)確的模態(tài)權(quán)重引入到拉普拉斯稀疏表示模型中，實現(xiàn)多個模態(tài)數(shù)據(jù)之間的自適應(yīng)融合。為驗證所提出的模型有效性，本文采集了一個全新且涵蓋多種挑戰(zhàn)的可見光-熱紅外多模態(tài)目標(biāo)跟蹤數(shù)據(jù)集，并對現(xiàn)有公共數(shù)據(jù)集進(jìn)一步擴(kuò)展，最終在這兩個數(shù)據(jù)集

4、上運(yùn)行大量對比實驗進(jìn)行分析，驗證該模型相對于多種單模態(tài)目標(biāo)跟蹤算法和多模態(tài)目標(biāo)跟蹤算法的有效性。
　　(2)對視頻中車輛目標(biāo)屬性，現(xiàn)有方法常將每個車輛屬性作為一個單獨任務(wù)進(jìn)行研究，這類方法一方面忽略車輛多個屬性之間的共同信息，另一方面會增加整個車輛屬性識別系統(tǒng)的硬件配置要求。因此，為了克服上述問題，并實現(xiàn)對車輛屬性的精細(xì)化識別分析，本文提出一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識別算法，同時實現(xiàn)車輛類型和車輛顏色的識別。該算法主要流

5、程為:首先，根據(jù)車輛屬性數(shù)目設(shè)計多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并準(zhǔn)備相應(yīng)多屬性車輛數(shù)據(jù)集;然后，利用此數(shù)據(jù)集訓(xùn)練多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型;其次，根據(jù)該網(wǎng)絡(luò)模型輸出的車輛類型結(jié)果，設(shè)計相應(yīng)的車輛掩膜，并將車輛掩膜加入到原圖像中;然后，利用加入掩膜處理后的圖像訓(xùn)練SVM分類器，并進(jìn)行車輛顏色識別工作。最后，在由高速卡口相機(jī)抓拍的大規(guī)模高清車輛圖像數(shù)據(jù)集上進(jìn)行測試。同時，本文最后在所構(gòu)建的卡口車輛圖像數(shù)據(jù)集上對該算法的有效性，并對比加入車輛掩膜對車輛