基于稀疏編碼的視覺目標跟蹤方法研究.pdf

1、視覺目標跟蹤是指從攝像機記錄的視頻序列中連續(xù)地推斷特定目標運動狀態(tài)軌跡的技術(shù),是計算機視覺研究中非常重要的一個研究課題。不僅推動了圖像處理、模式識別、機器學習和人工智能等領域的理論研究,也成為很多實用的計算機視覺系統(tǒng)必不可少的一個環(huán)節(jié)。盡管目標跟蹤對于人類視覺系統(tǒng)而言是一個非常簡單的任務,但對于計算機視覺而言,現(xiàn)有跟蹤算法的性能還遠沒有達到人類視覺系統(tǒng)的智能。主要困難在于自然場景中的目標跟蹤不僅要解決如何將目標與周圍相似的背景區(qū)分開來,

2、還要解決跟蹤過程中目標由于姿態(tài)、光照和遮擋等因素導致的外觀變化。為了解決這些難點問題,本論文以最近在信號處理和神經(jīng)科學領域受到廣泛關注的稀疏編碼模型為理論基礎,重點研究了如何利用稀疏編碼的特性開發(fā)更加有效的目標跟蹤方法。具體地,本論文的主要研究內(nèi)容分為兩條主線。
　　第一條主線,利用稀疏表示全局的子空間搜索能力及對外觀變化的表示能力,提出了兩個目標跟蹤算法:
　　基于稀疏表示相似度計算的目標跟蹤該方法將目標跟蹤問題形式化為從

3、所有目標候選中找到一個最小的子空間,能夠以最小的重構(gòu)誤差線性表示目標模板。該問題最終轉(zhuǎn)化為一個稀疏表示問題,即將目標模板表示為所有目標候選的線性組合。當假設目標候選包含當前跟蹤結(jié)果時,線性表示的系數(shù)是稀疏的,因而可以通過Il范式最小化求解。并且,所求解的表示系數(shù)能夠反映目標候選與目標模板之間的相似度,因此可以基于表示系數(shù)從目標候選中找出與目標模板最相似的候選作為跟蹤結(jié)果。盡管本論文提出的方法并不是第一次將稀疏表示引入到目標跟蹤中,但與先

4、前提出的工作相比,創(chuàng)新點在于:第一,動機更直觀。跟蹤的目的正是要從目標候選中尋找與目標模板最相似的候選。本文的工作將目標模板表示為目標候選的線性組合,比之前的工作將目標候選表示為目標模板和單位基函數(shù)的線性組合更直觀。第二,模型更合理。先前的方法在線性表示中引入單位基函數(shù),而單位基函數(shù)的使用已經(jīng)被后續(xù)的工作證實對跟蹤的性能會帶來負面的影響。第三,計算效率更高。Il范式最小化的求解是一個耗時的過程,本文提出的方法只需要計算一次Il范式最小化

5、。而先前的工作需要為每一個目標候選計算一次Il范式最小化。
　　基于在線外觀變化基函數(shù)學習的目標跟蹤盡管本文上一個提出的方法利用了稀疏表示的全局子空間搜索能力,在執(zhí)行目標跟蹤時達到了比先前的相關方法更優(yōu)的性能,但該方法并沒有顯式地對目標跟蹤過程中由于外在因素而導致的目標外觀變化進行處理。本文進一步提出一種基于在線外觀變化基函數(shù)學習的目標跟蹤方法,將目標跟蹤過程中目標外觀的變化進一步分解為一組基函數(shù)的線性組合。更重要的是,考慮到目標

6、跟蹤過程中,目標的外觀變化是逐漸累積形成的,本文采用了在線學習的方法從每一時刻收集到的訓練樣本中在線地更新這組外觀變化基函數(shù)。一方面,學習的方法能夠保證所學習出的基函數(shù)能夠更加緊湊地對外觀變化進行表示。另一方面,在線學習的方法在每一時刻利用當前收集到的樣本對上一時刻的基函數(shù)進行更新,可以顯著降低學習方法的計算復雜度。本方法的另一個創(chuàng)新點在于,同時維持多個目標模板用于包含目標由于自身因素的變化而得到的多個目標外觀。這些目標模板同樣采用了在

7、線更新的策略,用于適應目標在不同場景的變化。相比于現(xiàn)有的方法通常使用單位基函數(shù)來對目標的外觀變化進行表示,本文使用學習的基函數(shù)來表示外觀變化,除了具有更強的對外觀變化的表示能力外,更重要的是避免了現(xiàn)有方法中單位基函數(shù)即使在未發(fā)生遮擋時也能夠隨意表示任一像素的問題。
　　除了利用稀疏表示全局的子空間搜索能力以及對目標外觀變化的表示能力外,稀疏編碼還具有更符合人類視覺系統(tǒng)對視覺信息響應特性的能力,即局部的表示能力。本論文的第二條研究主

8、線將稀疏編碼的局部表示能力用于目標跟蹤中的外觀建模,提出的算法包括:
　　基于相關稀疏特征選擇外觀建模的目標跟蹤傳統(tǒng)的外觀建模方法廣泛使用硬編碼的特征,如SIFT和HOG等。這類特征的明顯特點是固定計算步驟,不隨場景的不同而改變。然而自然圖像中的結(jié)構(gòu)信息十分多樣,并不能通過固定的計算方法來描述出所有潛在的結(jié)構(gòu)特征。另一方面,自然圖像中潛在的結(jié)構(gòu)特征滿足一定的統(tǒng)計規(guī)律,這類特征可以通過統(tǒng)計學習的方法得到。因此,本論文提出了一種無監(jiān)督

9、的特征學習方法。首先從自然圖像中采樣足夠多的圖像塊作為訓練樣本,學習一組獨立成分分析(ICA)的基函數(shù)和濾波器。已有的研究表明,ICA的濾波器類似于Gabor濾波器,能對圖像中的邊緣信息進行響應。在為目標的外觀進行建模時,計算出目標圖像中所有圖像塊在各個濾波器下的響應并統(tǒng)計響應的分布作為目標的外觀表示?？紤]到跟蹤序列只是自然圖像的一個子集,為了增強基于ICA響應的外觀表示的判別能力,進一步提出一種基于熵增的特征選擇方法,選擇與目標最相關

10、的那些特征,計算它們的分布作為目標最終的外觀表示。因為ICA是稀疏編碼的一個特例,ICA響應也是稀疏的,因此將該方法稱為基于相關稀疏特征選擇的目標跟蹤方法。本方法的創(chuàng)新點在于,第一次將稀疏編碼這一無監(jiān)督的學習方法用于目標跟蹤中的外觀建模。相比于硬編碼的特征而言,本文提出的基于學習的方法更符合自然圖像的統(tǒng)計規(guī)律,也能更好地適應跟蹤場景的變化。
　　基于判別稀疏編碼和金字塔表示外觀建模的目標跟蹤本文上一個提出的方法,雖然利用了ICA這

11、一學習方法,但仍然是從信號統(tǒng)計的角度分析問題。本文進一步將神經(jīng)科學理論模型與機器學習方法相結(jié)合,提出了一個生物啟發(fā)的外觀建模方法。該方法模擬了視覺信息通過視網(wǎng)膜經(jīng)主視覺皮層的簡單細胞到復雜細胞的響應過程,共包括五層,預處理層、編碼層、修正層、歸一化層和聚集層。除了預處理層、修正層和歸一化層均采用神經(jīng)科學成熟的操作外,本文工作側(cè)重于編碼層和聚集層。特別是為了提高所建立外觀模型的判別能力,在編碼層,使用判別的稀疏編碼來編碼局部的圖像塊,使得