跨視域攝像頭網(wǎng)絡(luò)下的監(jiān)控視頻結(jié)構(gòu)化與檢索.pdf

1、視頻監(jiān)控是城市公共安全領(lǐng)域一項(xiàng)重要的監(jiān)控手段。隨著監(jiān)控?cái)z像頭數(shù)目和監(jiān)控視頻數(shù)據(jù)量的急劇上升，傳統(tǒng)基于人工操作的監(jiān)控方式越來(lái)越難以滿足需求，亟需發(fā)展基于智能算法的視頻監(jiān)控技術(shù)。
　　智能視頻監(jiān)控中的關(guān)鍵問(wèn)題在于“監(jiān)控視頻內(nèi)容結(jié)構(gòu)化”與“監(jiān)控對(duì)象檢索”。圍繞這兩大關(guān)鍵問(wèn)題，本文(1)針對(duì)監(jiān)控視頻內(nèi)容結(jié)構(gòu)化中的目標(biāo)元數(shù)據(jù)獲取問(wèn)題，開展了群體目標(biāo)跟蹤的研究;(2)針對(duì)監(jiān)控視頻內(nèi)容結(jié)構(gòu)化中的目標(biāo)理解與描述問(wèn)題，開展了圖像多屬性識(shí)別的研究;(

2、3)針對(duì)監(jiān)控對(duì)象檢索中的基于圖像的檢索問(wèn)題，開展了跨視域行人群組再識(shí)別的研究。群體目標(biāo)跟蹤獲取了每個(gè)行人的運(yùn)動(dòng)視頻片段和運(yùn)動(dòng)軌跡信息，為后續(xù)分析處理提供了重要的素材。圖像多屬性識(shí)別為每個(gè)監(jiān)控對(duì)象生成了高層語(yǔ)義描述信息，一方面為基于圖像的檢索提供了高層語(yǔ)義特征，另一方面為基于自然語(yǔ)言的檢索提供了可能?？缫曈蛐腥巳航M再識(shí)別的研究是對(duì)單行人再識(shí)別問(wèn)題的重要補(bǔ)充，為視頻監(jiān)控中基于行人外觀特征（非人臉）的跨視域行人檢索應(yīng)用提供了重要的技術(shù)基礎(chǔ)。<

3、br>　　本論文的主要研究工作與創(chuàng)新成果如下:
　　(1)提出了一種基于群組關(guān)系演化的群體目標(biāo)跟蹤算法。該算法將低層次(Low-Level)的關(guān)鍵點(diǎn)跟蹤、中層次(Mid-Level)的圖像塊檢測(cè)及跟蹤和高層次（High-Level）的群組關(guān)系演化融入一個(gè)統(tǒng)一框架。不同于以往的計(jì)算光流、跟蹤關(guān)鍵點(diǎn)或者檢測(cè)行人目標(biāo)，本文提出將人群表示成一組外觀獨(dú)特且穩(wěn)定的圖像塊。在低層次上，關(guān)鍵點(diǎn)跟蹤提供了非常精確的局部軌跡信息，可以用于檢測(cè)圖像塊以

4、及推測(cè)群體的群組關(guān)系。在中層次上，采用所提出的分層樹形結(jié)構(gòu)對(duì)圖像塊之間的空間關(guān)系進(jìn)行建模和學(xué)習(xí)。在高層次上，群組關(guān)系的演化使得分層樹形結(jié)構(gòu)可以通過(guò)分裂、合并等形式進(jìn)行動(dòng)態(tài)更新。實(shí)驗(yàn)結(jié)果表明:所提出的圖像塊檢測(cè)方法為給定目標(biāo)的跟蹤提供了重要的輔助信息;所提出的動(dòng)態(tài)分層樹形結(jié)構(gòu)能夠有效學(xué)習(xí)目標(biāo)之間的空間關(guān)系;所提出的基于群組關(guān)系演化的群體目標(biāo)跟蹤算法顯著提高了群體目標(biāo)跟蹤的準(zhǔn)確性。
　　(2)提出了一種基于空間幾何關(guān)系的圖像多屬性識(shí)別

5、算法。該算法通過(guò)一個(gè)可以“端到端”訓(xùn)練的深層卷積神經(jīng)網(wǎng)絡(luò)來(lái)同時(shí)學(xué)習(xí)屬性之間的空間和語(yǔ)義關(guān)系，而僅僅利用了圖像的屬性標(biāo)簽類別信息作為訓(xùn)練監(jiān)督信號(hào)。具體來(lái)說(shuō)，對(duì)于輸入圖像，使用所提出的“空間正則網(wǎng)絡(luò)”(SRN: Spatial Regularization Network)為每個(gè)可能的屬性類別標(biāo)簽生成一個(gè)注意力圖，并基于注意力圖來(lái)同時(shí)學(xué)習(xí)屬性之間的空間和語(yǔ)義關(guān)系。最后，將“空間正則網(wǎng)絡(luò)”得到的各個(gè)屬性的置信度得分與基本卷積神經(jīng)網(wǎng)絡(luò)（如:殘差

6、網(wǎng)絡(luò)ResNet-101）得到的置信度得分進(jìn)行加和，修正屬性置信度得分。在多個(gè)不同類型的公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:“空間正則網(wǎng)絡(luò)”可以有效學(xué)習(xí)圖像中屬性之間的空間幾何關(guān)系;這種空間幾何關(guān)系可以顯著提升圖像多屬性識(shí)別的準(zhǔn)確性。
　　(3)提出了一種基于塊匹配的行人群組再識(shí)別算法。相對(duì)于單行人再識(shí)別問(wèn)題，行人群組再識(shí)別面臨著更多的新問(wèn)題，比如:群組內(nèi)行人之間嚴(yán)重的相互遮擋、群組內(nèi)行人在不同視域下發(fā)生相對(duì)位置變化等。為了解決上述問(wèn)題，