基于上下文的目標(biāo)檢測(cè)研究.pdf

1、目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的重點(diǎn)和難點(diǎn)問題，廣泛地應(yīng)用于諸如智能監(jiān)控、圖片搜索、人機(jī)交互等多個(gè)領(lǐng)域。由于目標(biāo)外觀信息不足或光照、遮擋、視角等造成的目標(biāo)外觀變化，導(dǎo)致了目標(biāo)表征的不確定性，降低了目標(biāo)檢測(cè)的準(zhǔn)確率。而上下文信息能夠描述目標(biāo)的內(nèi)在聯(lián)系，所以借助上下文信息，能有效消除或減少這種不確定性對(duì)目標(biāo)檢測(cè)的影響，提高目標(biāo)檢測(cè)的準(zhǔn)確度。
　　目前，基于上下文的目標(biāo)檢測(cè)研究雖然取得了一定的進(jìn)展，但由于目標(biāo)表征與人類視覺語義鴻溝的存在，目標(biāo)

2、檢測(cè)的準(zhǔn)確度仍亟需大幅提升。為此，圍繞這一主題，我們開展了上下文信息的目標(biāo)檢測(cè)研究。
　　本文針對(duì)目標(biāo)檢測(cè)中的不同問題，從多個(gè)角度，充分挖掘和利用圖像中的上下文信息，進(jìn)行目標(biāo)檢測(cè)。在研究不同上下文表示的基礎(chǔ)上，結(jié)合諸如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN)等機(jī)器學(xué)習(xí)方法，提出了多個(gè)新的目標(biāo)檢測(cè)模型，提升了目標(biāo)檢測(cè)的準(zhǔn)確度。本文主要工作和貢獻(xiàn)如下：
　　(1)針對(duì)圖像中的目標(biāo)檢測(cè)問題，

3、提出了一種通用的基于霍夫上下文的目標(biāo)檢測(cè)模型。該模型摒棄傳統(tǒng)的利用特征對(duì)目標(biāo)中心投票的方式，以圖像中每個(gè)像素點(diǎn)為投票中心構(gòu)建新的橢圓形霍夫上下文?；谔岢龅幕舴蛏舷挛模ㄟ^有限次采樣，巧妙的利用單一特征和聯(lián)合特征的空間和外觀關(guān)系，形成了一種新的局部上下文表示。為了充分利用該局部上下文信息，提出了一種包含獨(dú)立和聯(lián)合投票函數(shù)的新的加權(quán)投票函數(shù)。實(shí)驗(yàn)結(jié)果表明，該方法基于單一和聯(lián)合特征，充分挖掘了目標(biāo)自身包含的局部上下文信息，進(jìn)一步加強(qiáng)了目標(biāo)表

4、征的準(zhǔn)確性，提高了目標(biāo)檢測(cè)的準(zhǔn)確性。
　　(2)針對(duì)圖像中存在兩個(gè)同時(shí)出現(xiàn)的目標(biāo)的檢測(cè)問題，基于一種新的表示目標(biāo)間牢固語義關(guān)系的局部上下文表示，構(gòu)建了一種新的基于上下文信息的多層目標(biāo)檢測(cè)模型。首先，基于混合專家思想，在利用全局上下文特征劃分的子場(chǎng)景下，基于不同目標(biāo)之間的位置、尺度、以及角度的相互一致關(guān)系，提出了一種和場(chǎng)景相關(guān)的，包含豐富目標(biāo)間語義關(guān)系的局部上下文表示，即一致性目標(biāo)對(duì)。然后，利用這種局部語義的上下文信息，改變樹形模型

5、結(jié)構(gòu)，生成相應(yīng)場(chǎng)景下的子樹，完成基于上下文信息的多層目標(biāo)檢測(cè)模型的建立。實(shí)驗(yàn)結(jié)果表明，這種新的局部上下文信息，增強(qiáng)了目標(biāo)間相互約束，為目標(biāo)表征，提供了更豐富的信息，進(jìn)一步提高了目標(biāo)檢測(cè)的準(zhǔn)確性。
　　(3)針對(duì)視頻的目標(biāo)檢測(cè)問題，基于目標(biāo)在時(shí)空域的動(dòng)態(tài)變化，構(gòu)建時(shí)空上下文表示，在此基礎(chǔ)上，提出了新的基于時(shí)空上下文信息的火焰檢測(cè)模型和人數(shù)統(tǒng)計(jì)模型。針對(duì)火焰檢測(cè)模型，在多個(gè)層面上，利用光流法獲取的火焰方向信息，構(gòu)造了一種新的時(shí)空上下文

6、表示，并用該表示形成了新的火焰運(yùn)動(dòng)特征。在此基礎(chǔ)上，結(jié)合Kernel SVM建立火焰檢測(cè)模型。實(shí)驗(yàn)結(jié)果表明，該特征融合了火焰目標(biāo)的時(shí)空上下文表示，能準(zhǔn)確刻畫火焰表征，所以能顯著提高火焰檢測(cè)的準(zhǔn)確性和降低誤報(bào)率。針對(duì)人數(shù)統(tǒng)計(jì)模型，首先，描述了一種包含團(tuán)塊運(yùn)動(dòng)的光流強(qiáng)度信息和團(tuán)塊面積信息等新的時(shí)空上下文表示，并用該表示形成新的團(tuán)塊特征；然后，利用該特征，結(jié)合人數(shù)統(tǒng)計(jì)的特點(diǎn)，設(shè)計(jì)了一種新的跟蹤算法；最后，利用SVM進(jìn)行線性擬合建立人數(shù)統(tǒng)計(jì)模型

7、。實(shí)驗(yàn)結(jié)果表明，這種團(tuán)塊的時(shí)空上下文表示，可有效地刻畫團(tuán)塊特征，提高了人數(shù)統(tǒng)計(jì)的準(zhǔn)確性。
　　(4)針對(duì)特定場(chǎng)景的目標(biāo)檢測(cè)問題，基于CNN學(xué)習(xí)的高層圖像表達(dá)，構(gòu)建了一種針對(duì)特定場(chǎng)景的上下文表示，在此基礎(chǔ)上，建立了一種基于自適應(yīng)上下文信息的CNN目標(biāo)檢測(cè)模型。首先，在特定場(chǎng)景下，基于CNN分別學(xué)習(xí)目標(biāo)及其上下文的特征圖。在同一尺度下，通過度量?jī)山M特征圖間差異，保留有效上下文特征圖的位置索引，獲得一種新的上下文信息表示。然后，利用該表