感受野學(xué)習(xí)模型、方法與應(yīng)用研究.pdf

1、圖像檢測(cè)與識(shí)別任務(wù)的性能很大程度上取決于特征的表達(dá)能力，好的特征應(yīng)該能丟棄無(wú)關(guān)信息，并將圖像中與任務(wù)相關(guān)的要素充分的抽象出來(lái)。傳統(tǒng)的描述子受到表達(dá)能力的限制，成為圖像檢測(cè)與識(shí)別任務(wù)中的瓶頸。而近年來(lái)迅速發(fā)展的特征學(xué)習(xí)模型能夠從數(shù)據(jù)中學(xué)習(xí)圖像的特征，將圖像檢測(cè)與識(shí)別算法的能力推向了一個(gè)新的高度。在特征學(xué)習(xí)算法中，通過(guò)對(duì)特征的池化（pooling）操作，可以生成一個(gè)更有效、包含了重要信息的新特征，同時(shí)拋棄一些無(wú)關(guān)細(xì)節(jié)。池化能夠使特征產(chǎn)生一些

2、較為復(fù)雜的特性，因此有研究者也將特征學(xué)習(xí)模型中的池化，與哺乳動(dòng)物復(fù)雜視覺(jué)細(xì)胞相對(duì)應(yīng)。在神經(jīng)科學(xué)中，這些復(fù)雜視覺(jué)細(xì)胞對(duì)于輸入信號(hào)的響應(yīng)具有局部性、帯通性和選擇性，上述性質(zhì)也被稱作復(fù)雜視覺(jué)細(xì)胞的感受野。
　　本文的主要工作，圍繞面向圖像檢測(cè)和識(shí)別任務(wù)的特征學(xué)習(xí)展開(kāi)，旨在通過(guò)對(duì)池化模型的改進(jìn)，進(jìn)一步地提高特征的表達(dá)能力。一些研究者將池化模型上的學(xué)習(xí)方法稱為感受野學(xué)習(xí)。本文對(duì)特征詞袋（Bag-of-features，BoF）模型和卷積神經(jīng)

3、網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型上的池化展開(kāi)研究，主要工作和貢獻(xiàn)包含以下四個(gè)方面：
　　1）提高BoF模型的池化特征對(duì)于特征圖（feature map）局部空間統(tǒng)計(jì)信息的表達(dá)能力。首先，通過(guò)對(duì)于已有池化方案的分析，提出一種空間相似度低的池化區(qū)域方案，降低由于空間區(qū)域相似導(dǎo)致的特征冗余。其次，對(duì)于含有不同特征數(shù)量的池化區(qū)域予以區(qū)分。含有特征數(shù)量較多的池化區(qū)域，采用多種聚合運(yùn)算來(lái)生成多個(gè)池

4、化特征。最后，在這些池化特征上使用 Fisher核方法，將其在特征空間的分布信息考慮在內(nèi)。這些低冗余、局部統(tǒng)計(jì)豐富、包含特征空間信息的池化特征，能夠提高特征的表達(dá)能力。
　　2）解決BoF模型在分類任務(wù)中包含過(guò)多的冗余視覺(jué)單詞和池化特征（pooled featue）的問(wèn)題。針對(duì)此問(wèn)題，本文提出兩種解決方案：第一種在Jia等人的感受野學(xué)習(xí)算法基礎(chǔ)上，對(duì)于分值函數(shù)進(jìn)行改進(jìn)，使學(xué)習(xí)過(guò)程能夠盡可能地選擇已使用特征圖上的池化特征，從而減緩特

5、征圖數(shù)量的增長(zhǎng)，達(dá)到簡(jiǎn)化BoF模型特征詞典規(guī)模和池化特征數(shù)量的效果。第二種方案則是在第一種方案基礎(chǔ)上，進(jìn)一步將視覺(jué)單詞和池化特征的選擇分為兩個(gè)階段，首先確定重要性較高的視覺(jué)單詞，然后選擇這些視覺(jué)單詞產(chǎn)生的特征圖中的池化特征。
　　3）提出在全局池化（global average pooling）層學(xué)習(xí)目標(biāo)顯著性特征的方法，并在顯著性響應(yīng)的特征圖上利用結(jié)構(gòu)信息定位人臉池化區(qū)域，形成一個(gè)以CNN為基礎(chǔ)的人臉定位與識(shí)別的多任務(wù)模型。首先

6、，在訓(xùn)練中使用負(fù)樣本對(duì)于非人臉區(qū)域產(chǎn)生的響應(yīng)進(jìn)行抑制，使學(xué)習(xí)到的特征僅對(duì)于人臉區(qū)域產(chǎn)生響應(yīng)，獲得關(guān)于人臉的顯著性。顯著性學(xué)習(xí)能夠抑制背景的干擾，提高特征表達(dá)在不同數(shù)據(jù)集的適應(yīng)能力。其次，不同的特征圖之間的顯著性響應(yīng)存在結(jié)構(gòu)性。為了充分利用這些信息實(shí)現(xiàn)對(duì)于人臉的定位，本文使用基于部件（part-based）的方案設(shè)計(jì)模型。改進(jìn)后的模型能找到更加合適的池化區(qū)域，從而具備一定的人臉對(duì)齊功能。最后，將顯著性學(xué)習(xí)和人臉定位過(guò)程作為一個(gè)完整模型進(jìn)行

7、聯(lián)合訓(xùn)練，使特征學(xué)習(xí)與人臉定位相互適應(yīng)。
　　4）提高基于區(qū)域神經(jīng)網(wǎng)絡(luò)方法（Region-based Convolutional Neural Networks，R-CNN）中候選區(qū)域的有效性。首先，將顯著性學(xué)習(xí)同基于區(qū)域的方法相結(jié)合，利用顯著性所提供的目標(biāo)局部性信息、上下文信息和部件之間的結(jié)構(gòu)信息，對(duì)候選區(qū)域進(jìn)行評(píng)分，僅保留那些評(píng)分較高的區(qū)域。其次，對(duì)于檢測(cè)任務(wù)中存在整體與部件關(guān)系的目標(biāo)，由于部件之間的高度重疊和相關(guān)，使得RPN