復(fù)雜動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究.pdf

1、近年來(lái)由于嚴(yán)峻的公共安全形勢(shì)，智能視頻監(jiān)控作為安防領(lǐng)域中最核心的技術(shù)之一，得到了廣泛應(yīng)用。智能視頻監(jiān)控的目標(biāo)是利用信號(hào)處理、圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、人工智能，數(shù)據(jù)挖掘以及多媒體檢索等學(xué)科的技術(shù)，對(duì)采集到的視頻進(jìn)行自動(dòng)地分析處理，發(fā)現(xiàn)監(jiān)控場(chǎng)景中存在的潛在危險(xiǎn)、違規(guī)行為或者可疑目標(biāo)，并對(duì)這些行為和目標(biāo)進(jìn)行實(shí)時(shí)報(bào)警、提前預(yù)警、存儲(chǔ)以及事后檢索。其研究?jī)?nèi)容從底層至高層包括：圖像預(yù)處理、背景建模、運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)跟蹤，物體識(shí)別

2、和分類(lèi)、場(chǎng)景語(yǔ)義理解、行為分析以及大范圍場(chǎng)景監(jiān)控中多攝像機(jī)之間的聯(lián)動(dòng)等。其中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是智能視頻監(jiān)控系統(tǒng)中的兩個(gè)核心部分，是實(shí)現(xiàn)智能視頻監(jiān)控應(yīng)用的基礎(chǔ)，因而得到了研究者的廣泛關(guān)注并且積累了大量的研究成果，但實(shí)踐表明復(fù)雜動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法還遠(yuǎn)未成熟。特別是真實(shí)監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的快速檢測(cè)、物體的姿態(tài)、尺度、表觀和光照的變化，非剛性運(yùn)動(dòng)、物體自遮擋和物體之間互遮擋的處理，動(dòng)態(tài)場(chǎng)景（云、煙、雨、霧、陰影、波浪、噴泉、隨

3、風(fēng)擺動(dòng)的樹(shù)葉和攝像機(jī)的抖動(dòng)）等給運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的研究帶來(lái)了極大的挑戰(zhàn)。本文針對(duì)這些問(wèn)題進(jìn)行了研究，包括動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)檢測(cè)與分割、基于分塊表觀模型和局部背景估計(jì)的自適應(yīng)視覺(jué)目標(biāo)跟蹤、以及從多個(gè)不是很完美的預(yù)言中進(jìn)行弱監(jiān)督學(xué)習(xí)的視覺(jué)目標(biāo)跟蹤等。本文主要工作和貢獻(xiàn)如下：
　　1．研究了動(dòng)態(tài)場(chǎng)景中的背景建模與運(yùn)動(dòng)目標(biāo)檢測(cè)。動(dòng)態(tài)場(chǎng)景中存在的挑戰(zhàn)主要包括：隨風(fēng)擺動(dòng)的樹(shù)葉、波浪、陰影、光照變化、攝像機(jī)抖動(dòng)、云、煙、雨和霧燈。通過(guò)對(duì)動(dòng)態(tài)

4、場(chǎng)景的數(shù)據(jù)進(jìn)行分析，我們發(fā)現(xiàn)動(dòng)態(tài)場(chǎng)景中相鄰像素之間存在著空間域上的關(guān)聯(lián)性，即一種共生關(guān)系，如果能夠有效地描述這種共生關(guān)系或?qū)ζ溥M(jìn)行建模，我們將可以實(shí)現(xiàn)魯棒有效的背景建模和運(yùn)動(dòng)目標(biāo)檢測(cè)。因此，本文研究了如何對(duì)動(dòng)態(tài)場(chǎng)景中相鄰像素之間的共生關(guān)系進(jìn)行建模，提出了基于紋理和運(yùn)動(dòng)模式融合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法、基于標(biāo)準(zhǔn)差特征的運(yùn)動(dòng)目標(biāo)檢測(cè)算法、以及基于局部前景/背景標(biāo)記直方圖的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出算法，在顯示考慮動(dòng)態(tài)場(chǎng)景中相鄰像素之間

5、共生關(guān)系的情況下，能夠?qū)崿F(xiàn)魯棒有效的背景建模和運(yùn)動(dòng)目標(biāo)檢測(cè)。
　　2．提出了一種動(dòng)態(tài)場(chǎng)景中，基于背景剪除驅(qū)動(dòng)種子選擇的運(yùn)動(dòng)目標(biāo)的自動(dòng)精細(xì)分割方法。該方法首先應(yīng)用一種新的背景剪除方法作為注意選擇機(jī)制，所提出的背景剪除方法融合了基于像素和基于圖像塊的背景建模方法的互補(bǔ)特性，因而能夠在保證生成盡可能少虛警數(shù)和漏檢數(shù)的前提下，生成盡可能多的前景像素，然后提取前景像素的連通區(qū)域。為了得到更為精細(xì)的分割目標(biāo)，我們進(jìn)一步根據(jù)一定的啟發(fā)式規(guī)則，將

6、連通區(qū)域和及其周?chē)徲騼?nèi)的像素分為前景種子像素、背景種子像素和未標(biāo)記像素。之后使用基于封閉形式的摳圖算法，對(duì)包含運(yùn)動(dòng)目標(biāo)的連通區(qū)域及其周?chē)徲蜻M(jìn)行更為精細(xì)的分割，這是一種自上而下的啟發(fā)式摳圖和分割方法。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法能夠產(chǎn)生較好的分割效果及較快的分割速度。
　　3．提出了一種基于分塊表觀模型和局部背景估計(jì)的自適應(yīng)視覺(jué)目標(biāo)跟蹤算法。近年來(lái)，為了在復(fù)雜動(dòng)態(tài)環(huán)境下，實(shí)現(xiàn)魯棒的視覺(jué)跟蹤，在線構(gòu)建自適應(yīng)的目標(biāo)表觀模型引起來(lái)越

7、來(lái)越多學(xué)者的關(guān)注。然而，基于自適應(yīng)表觀模型的跟蹤方法，有一個(gè)固有的“漂移”問(wèn)題，也就是說(shuō)在在線更新目標(biāo)表觀的過(guò)程，由于跟蹤累積誤差造成了目標(biāo)模型會(huì)最終脫離真正要跟蹤的物體。為了緩解視覺(jué)跟蹤中的“漂移”問(wèn)題，同時(shí)為了有效地對(duì)目標(biāo)進(jìn)行遮擋和干擾判斷，我們提出了基于分塊表觀模型和局部背景估計(jì)的自適應(yīng)視覺(jué)目標(biāo)跟蹤算法，該算法使用分塊表觀模型來(lái)對(duì)前景目標(biāo)進(jìn)行建模，同時(shí)對(duì)前景目標(biāo)周?chē)谋尘斑M(jìn)行估計(jì)。分塊表觀模型使得所提出的算法具有了遮擋處理能力，局

8、部背景估計(jì)為我們更新目標(biāo)的表觀模型，提供了監(jiān)督信息，因此能夠有效地緩解“漂移”問(wèn)題。此外，通過(guò)使用積分圖技術(shù)和自適應(yīng)Bin的核密度估計(jì)技術(shù)，我們可以快速地計(jì)算目標(biāo)的表觀模型和局部背景模型。實(shí)驗(yàn)結(jié)果表明，相比于其他基于分塊表觀模型的跟蹤算法和基于在線學(xué)習(xí)的跟蹤算法，本文所提出的算法在公開(kāi)的測(cè)試序列上取得了更好的跟蹤結(jié)果。
　　4．研究了復(fù)雜監(jiān)控場(chǎng)景下目標(biāo)的長(zhǎng)時(shí)間持續(xù)跟蹤問(wèn)題，提出了一種從多個(gè)不是很完美的預(yù)言中進(jìn)行弱監(jiān)督學(xué)習(xí)的視覺(jué)目標(biāo)

9、跟蹤通用框架。在該跟蹤框架中，我們將視覺(jué)跟蹤視為一種新的從多個(gè)標(biāo)記源進(jìn)行聯(lián)合學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)問(wèn)題，使用一種概率算法無(wú)縫地融合了多個(gè)不是很完美的預(yù)言者所做出的預(yù)言（即：多個(gè)具有互補(bǔ)特性的跟蹤算法給出的跟蹤結(jié)果），最終取得了魯棒有效的跟蹤效果。與無(wú)監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)以及直推學(xué)習(xí)不同，在這種新的從多個(gè)標(biāo)記源進(jìn)行聯(lián)合學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)問(wèn)題中，每個(gè)訓(xùn)練樣本從多個(gè)標(biāo)記精度（即專(zhuān)家程度）未知的標(biāo)記源得到多個(gè)候選的標(biāo)記，同時(shí)每個(gè)訓(xùn)練樣本真實(shí)

10、的標(biāo)記也是未知的。學(xué)習(xí)算法根據(jù)這些輸入數(shù)據(jù)，需要同時(shí)學(xué)習(xí)和推論出分類(lèi)器，每個(gè)訓(xùn)練樣本的真實(shí)類(lèi)別標(biāo)記，每個(gè)訓(xùn)練樣本的標(biāo)記難度以及每個(gè)標(biāo)記源的標(biāo)記精度。所提出的跟蹤算法，相比其他跟蹤算法，具有如下優(yōu)點(diǎn)：1）我們使用一種自然的算法無(wú)縫地融合了多個(gè)具有互補(bǔ)特性的跟蹤算法，有效地避免了使用單一跟蹤算法的缺陷，最終取得了魯棒有效的跟蹤效果。2）所提出的算法，能夠同時(shí)對(duì)目標(biāo)的位置和每個(gè)跟蹤器的精度進(jìn)行聯(lián)合概率推論，有效地緩解了跟蹤算法的“漂移”問(wèn)題。

11、3）如何自動(dòng)和在線評(píng)價(jià)跟蹤算法的精度，是跟蹤系統(tǒng)的一個(gè)研究熱點(diǎn)和難點(diǎn)問(wèn)題，本文所提出的算法能夠在無(wú)法事先得到目標(biāo)真實(shí)位置的跟蹤問(wèn)題中，在線評(píng)價(jià)跟蹤算法的精度。4）本文所提出的跟蹤算法，能夠處理缺失標(biāo)記的問(wèn)題，也就是說(shuō)每一個(gè)不是很完美的預(yù)言者不需要標(biāo)記所有的訓(xùn)練樣本。5）本文提出了一種可擴(kuò)展和靈活定制的跟蹤框架，在我們的跟蹤框架中，每一個(gè)不是很完美的預(yù)言者不僅可以是任何一種通用的跟蹤算法，也可以是任何一種魯棒的或只針對(duì)某類(lèi)跟蹤場(chǎng)景有效的跟