復雜動態(tài)場景中運動目標檢測與跟蹤算法研究.pdf

1、近年來由于嚴峻的公共安全形勢，智能視頻監(jiān)控作為安防領(lǐng)域中最核心的技術(shù)之一，得到了廣泛應用。智能視頻監(jiān)控的目標是利用信號處理、圖像處理、模式識別、機器學習、計算機視覺、人工智能，數(shù)據(jù)挖掘以及多媒體檢索等學科的技術(shù)，對采集到的視頻進行自動地分析處理，發(fā)現(xiàn)監(jiān)控場景中存在的潛在危險、違規(guī)行為或者可疑目標，并對這些行為和目標進行實時報警、提前預警、存儲以及事后檢索。其研究內(nèi)容從底層至高層包括：圖像預處理、背景建模、運動目標檢測、目標跟蹤，物體識別

2、和分類、場景語義理解、行為分析以及大范圍場景監(jiān)控中多攝像機之間的聯(lián)動等。其中運動目標檢測與跟蹤是智能視頻監(jiān)控系統(tǒng)中的兩個核心部分，是實現(xiàn)智能視頻監(jiān)控應用的基礎，因而得到了研究者的廣泛關(guān)注并且積累了大量的研究成果，但實踐表明復雜動態(tài)場景中的運動目標檢測與跟蹤算法還遠未成熟。特別是真實監(jiān)控場景中運動目標的快速檢測、物體的姿態(tài)、尺度、表觀和光照的變化，非剛性運動、物體自遮擋和物體之間互遮擋的處理，動態(tài)場景（云、煙、雨、霧、陰影、波浪、噴泉、隨

3、風擺動的樹葉和攝像機的抖動）等給運動目標檢測與跟蹤的研究帶來了極大的挑戰(zhàn)。本文針對這些問題進行了研究，包括動態(tài)場景中的運動目標檢測與分割、基于分塊表觀模型和局部背景估計的自適應視覺目標跟蹤、以及從多個不是很完美的預言中進行弱監(jiān)督學習的視覺目標跟蹤等。本文主要工作和貢獻如下：
　　1．研究了動態(tài)場景中的背景建模與運動目標檢測。動態(tài)場景中存在的挑戰(zhàn)主要包括：隨風擺動的樹葉、波浪、陰影、光照變化、攝像機抖動、云、煙、雨和霧燈。通過對動態(tài)

4、場景的數(shù)據(jù)進行分析，我們發(fā)現(xiàn)動態(tài)場景中相鄰像素之間存在著空間域上的關(guān)聯(lián)性，即一種共生關(guān)系，如果能夠有效地描述這種共生關(guān)系或?qū)ζ溥M行建模，我們將可以實現(xiàn)魯棒有效的背景建模和運動目標檢測。因此，本文研究了如何對動態(tài)場景中相鄰像素之間的共生關(guān)系進行建模，提出了基于紋理和運動模式融合的運動目標檢測算法、基于標準差特征的運動目標檢測算法、以及基于局部前景/背景標記直方圖的運動目標檢測算法。實驗結(jié)果驗證了所提出算法，在顯示考慮動態(tài)場景中相鄰像素之間

5、共生關(guān)系的情況下，能夠?qū)崿F(xiàn)魯棒有效的背景建模和運動目標檢測。
　　2．提出了一種動態(tài)場景中，基于背景剪除驅(qū)動種子選擇的運動目標的自動精細分割方法。該方法首先應用一種新的背景剪除方法作為注意選擇機制，所提出的背景剪除方法融合了基于像素和基于圖像塊的背景建模方法的互補特性，因而能夠在保證生成盡可能少虛警數(shù)和漏檢數(shù)的前提下，生成盡可能多的前景像素，然后提取前景像素的連通區(qū)域。為了得到更為精細的分割目標，我們進一步根據(jù)一定的啟發(fā)式規(guī)則，將

6、連通區(qū)域和及其周圍鄰域內(nèi)的像素分為前景種子像素、背景種子像素和未標記像素。之后使用基于封閉形式的摳圖算法，對包含運動目標的連通區(qū)域及其周圍鄰域進行更為精細的分割，這是一種自上而下的啟發(fā)式摳圖和分割方法。實驗結(jié)果表明，本文所提出的方法能夠產(chǎn)生較好的分割效果及較快的分割速度。
　　3．提出了一種基于分塊表觀模型和局部背景估計的自適應視覺目標跟蹤算法。近年來，為了在復雜動態(tài)環(huán)境下，實現(xiàn)魯棒的視覺跟蹤，在線構(gòu)建自適應的目標表觀模型引起來越

7、來越多學者的關(guān)注。然而，基于自適應表觀模型的跟蹤方法，有一個固有的“漂移”問題，也就是說在在線更新目標表觀的過程，由于跟蹤累積誤差造成了目標模型會最終脫離真正要跟蹤的物體。為了緩解視覺跟蹤中的“漂移”問題，同時為了有效地對目標進行遮擋和干擾判斷，我們提出了基于分塊表觀模型和局部背景估計的自適應視覺目標跟蹤算法，該算法使用分塊表觀模型來對前景目標進行建模，同時對前景目標周圍的背景進行估計。分塊表觀模型使得所提出的算法具有了遮擋處理能力，局

8、部背景估計為我們更新目標的表觀模型，提供了監(jiān)督信息，因此能夠有效地緩解“漂移”問題。此外，通過使用積分圖技術(shù)和自適應Bin的核密度估計技術(shù)，我們可以快速地計算目標的表觀模型和局部背景模型。實驗結(jié)果表明，相比于其他基于分塊表觀模型的跟蹤算法和基于在線學習的跟蹤算法，本文所提出的算法在公開的測試序列上取得了更好的跟蹤結(jié)果。
　　4．研究了復雜監(jiān)控場景下目標的長時間持續(xù)跟蹤問題，提出了一種從多個不是很完美的預言中進行弱監(jiān)督學習的視覺目標

9、跟蹤通用框架。在該跟蹤框架中，我們將視覺跟蹤視為一種新的從多個標記源進行聯(lián)合學習的弱監(jiān)督學習問題，使用一種概率算法無縫地融合了多個不是很完美的預言者所做出的預言（即：多個具有互補特性的跟蹤算法給出的跟蹤結(jié)果），最終取得了魯棒有效的跟蹤效果。與無監(jiān)督學習、有監(jiān)督學習、半監(jiān)督學習以及直推學習不同，在這種新的從多個標記源進行聯(lián)合學習的弱監(jiān)督學習問題中，每個訓練樣本從多個標記精度（即專家程度）未知的標記源得到多個候選的標記，同時每個訓練樣本真實

10、的標記也是未知的。學習算法根據(jù)這些輸入數(shù)據(jù)，需要同時學習和推論出分類器，每個訓練樣本的真實類別標記，每個訓練樣本的標記難度以及每個標記源的標記精度。所提出的跟蹤算法，相比其他跟蹤算法，具有如下優(yōu)點：1）我們使用一種自然的算法無縫地融合了多個具有互補特性的跟蹤算法，有效地避免了使用單一跟蹤算法的缺陷，最終取得了魯棒有效的跟蹤效果。2）所提出的算法，能夠同時對目標的位置和每個跟蹤器的精度進行聯(lián)合概率推論，有效地緩解了跟蹤算法的“漂移”問題。

11、3）如何自動和在線評價跟蹤算法的精度，是跟蹤系統(tǒng)的一個研究熱點和難點問題，本文所提出的算法能夠在無法事先得到目標真實位置的跟蹤問題中，在線評價跟蹤算法的精度。4）本文所提出的跟蹤算法，能夠處理缺失標記的問題，也就是說每一個不是很完美的預言者不需要標記所有的訓練樣本。5）本文提出了一種可擴展和靈活定制的跟蹤框架，在我們的跟蹤框架中，每一個不是很完美的預言者不僅可以是任何一種通用的跟蹤算法，也可以是任何一種魯棒的或只針對某類跟蹤場景有效的跟