開(kāi)題報(bào)告--人臉檢測(cè)研究

1、<p>　　基于邊緣方向匹配的人臉檢測(cè)研究開(kāi)題報(bào)告</p><p>　　課題來(lái)源、目的、意義和國(guó)內(nèi)外基本研究概況</p><p><b>　　課題來(lái)源</b></p><p>　　課題由指導(dǎo)老師自行擬定。</p><p><b>　　目的</b></p><p>　

2、　學(xué)習(xí)了解圖像處理和分析的基本原理，分析一個(gè)邊緣方向匹配算法，實(shí)現(xiàn)用于人臉的檢測(cè)。通過(guò)本課題的訓(xùn)練，使學(xué)生掌握?qǐng)D像處理和分析的基本原理與方法，強(qiáng)化軟件的基本設(shè)計(jì)與實(shí)現(xiàn)技術(shù)的訓(xùn)練。</p><p><b>　　意義</b></p><p>　　在日常生活中，人的臉部特征提供了大量豐富的信息。對(duì)于人臉的研究因其在身份驗(yàn)證、檔案管理和可視化通信等方面的巨大應(yīng)用前景，備受研究

3、者的關(guān)注。但在人臉檢測(cè)中存在許多難點(diǎn):圖像中是否存在人臉、人臉數(shù)目的不確定；人臉在圖像的中的位置、大小、旋轉(zhuǎn)角度和尺度不固定；人臉由于外貌、表情、膚色等不同，具有模式可變性；人臉上可能存在眼鏡、胡須等附屬物；無(wú)約束背景下不可預(yù)知的成像條件；圖像只能夠的多張人臉有可能互相遮擋；圖像中存在噪聲等。所有這些未知因素都使得實(shí)際人臉檢測(cè)相當(dāng)困難。如果能找到人臉檢測(cè)問(wèn)題的解決辦法，成功構(gòu)造出一個(gè)使用系統(tǒng)，也將為解決其他類似復(fù)雜模式的檢測(cè)問(wèn)題提供重要

4、的啟示。</p><p>　　另外由于人臉是自然界中構(gòu)成和細(xì)節(jié)變化最復(fù)雜的模式之一，如果能研究出一個(gè)成功的人臉檢測(cè)系統(tǒng)，那么就能對(duì)其他的模式檢測(cè)問(wèn)題提供有價(jià)值的參考。比如對(duì)人臉檢測(cè)這一問(wèn)題的深入研究會(huì)附帶解決很多諸如汽車、動(dòng)物等其他物體的檢測(cè)，而且必將推動(dòng)模式識(shí)別、計(jì)算機(jī)視覺(jué)、人工智能等計(jì)算機(jī)科學(xué)分支的發(fā)展。</p><p><b>　　國(guó)內(nèi)外基本研究概況</b>&l

5、t;/p><p>　　由于人臉檢測(cè)是自動(dòng)人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)，故其研究發(fā)展與人臉識(shí)別息息相關(guān)，依據(jù)研究?jī)?nèi)容、技術(shù)方法等方面的特點(diǎn)大體劃分為三個(gè)階段。</p><p><b>　　第一階段</b></p><p>　　這一階段的人臉識(shí)別通常只是作為一個(gè)一般性的模式識(shí)別問(wèn)題，采用的主要方案是基于人臉幾何特征的方法。這集中體現(xiàn)在人們對(duì)剪影(pro

6、file)的研究上，對(duì)面部剪影曲線的結(jié)構(gòu)特征進(jìn)行提取與分析。人工神經(jīng)網(wǎng)絡(luò)也一度被應(yīng)用其中。</p><p><b>　　第二階段</b></p><p>　　這一階段為人臉識(shí)別研究的高潮期，不但出現(xiàn)了若干代表性的人臉識(shí)別算法，而且出現(xiàn)了若干商業(yè)化的運(yùn)作的人臉識(shí)別系統(tǒng)，如Identix的FaceIt系統(tǒng)。</p><p>　　麻省理工學(xué)院(MIT

7、)媒體實(shí)驗(yàn)室的Turk和Pentland提出的“特征臉(Eigenface)”方法無(wú)疑最負(fù)盛名，其后很多方法都或多或少與其有關(guān)，現(xiàn)在Eigenface已經(jīng)與歸一化的協(xié)相關(guān)向量(normalized correlation)方法一道成為人臉識(shí)別的性能測(cè)試基準(zhǔn)算法。</p><p>　　另外MIT智能實(shí)驗(yàn)室的Brunelli和Poggio對(duì)比了基于結(jié)構(gòu)特征的方法與基于模板匹配的方法得出:模板匹配的方法優(yōu)于基于特征的方

8、法。這一結(jié)論與Eigenface共同作用，基本終止了純粹基于結(jié)構(gòu)特征的人臉研究，并促進(jìn)了基于表觀(appearance-</p><p>　　based)的線性子空間建模和基于統(tǒng)計(jì)模式識(shí)別技術(shù)的人臉識(shí)別方法的發(fā)展。</p><p>　　Belhumeur等提出Fisherface人臉識(shí)別方法。該方法首先采用主成分分析(princi-</p><p>　　Pal co

9、mponent analysis,PCA)亦即Eigenface，對(duì)圖像的表觀特征進(jìn)行降維，在此基礎(chǔ)上，采用線性判別分析(linear discriminant analysis,LDA)的方法變換降維后的主成分以期獲得“盡量大的類間散度和盡量小的類內(nèi)散度”。</p><p>　　MIT的Moghaddam在Eigenface的基礎(chǔ)上，提出了基于雙子空間進(jìn)行貝葉斯概率估計(jì)的人臉識(shí)別方法。另外還有彈性圖匹配技術(shù)也在

10、這一階段提出。</p><p><b>　　第三階段</b></p><p>　　這一階段人臉研究變的非常熱門(mén)，吸引大量的研究人員與基金支持。由于對(duì)光照、姿態(tài)等非理想采集條件造成的變化條件下的魯棒性比較差。因此，光照、姿態(tài)問(wèn)題組建成為研究熱點(diǎn)。</p><p>　　Georghiades等提出的基于光照錐模型的多姿態(tài)、多光照條件人臉識(shí)別方法是這

11、一時(shí)期的重要成果，他們證明了一個(gè)重要結(jié)論:同一人臉在同一視角、不同光照條件下的所有圖像在圖像空間中形成一個(gè)凸錐，即光照錐。</p><p>　　此外，以支持向量機(jī)(support vector machines,SVM)為代表的統(tǒng)計(jì)學(xué)習(xí)理論被應(yīng)用到人臉研究中。SVM是一個(gè)兩類分類器，而人臉識(shí)別則是一個(gè)多類問(wèn)題，通常有三種策略解決這個(gè)問(wèn)題，即類內(nèi)差/類間差法、一對(duì)多法和一對(duì)一法。</p><p&

12、gt;　　Blanz和Vetter等提出基于3D變形模型的多姿態(tài)、多光照條件人臉圖像分析法，它的主要貢獻(xiàn)在于它在3D形狀和紋理統(tǒng)計(jì)變形模型的基礎(chǔ)上，同時(shí)還采用圖形學(xué)模擬的方法對(duì)圖像采集過(guò)程的透視投影和光照模型參數(shù)進(jìn)行建模，從而可以使得人臉形狀和紋理等人臉內(nèi)部屬性與攝像機(jī)配置、光照情況等外部參數(shù)完全分開(kāi)，更加有利于人臉圖像的分析。</p><p>　　2001年的國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)上，康柏研究院的研究院Viola和

13、Jones展示了他們的一個(gè)基于簡(jiǎn)單矩形特征和AdaBoost的實(shí)時(shí)人臉檢測(cè)系統(tǒng)。該法的主要貢獻(xiàn)在于:</p><p>　　用可以快速計(jì)算的簡(jiǎn)單矩形特征作為人臉圖像特征；</p><p>　　基于AdaBoost將大量弱分類器進(jìn)行組合形成強(qiáng)分類器的學(xué)習(xí)方法；</p><p>　　采用了級(jí)聯(lián)技術(shù)提高檢測(cè)速度。</p><p>　　這為后續(xù)的人臉研

14、究提供了良好的基礎(chǔ)。</p><p>　　總體而言，目前非理想成像條件下(光照和姿態(tài)的變化)以及大規(guī)模人臉數(shù)據(jù)庫(kù)上的人臉識(shí)別問(wèn)題成為研究的熱點(diǎn)。而非線性建模方法、統(tǒng)計(jì)學(xué)習(xí)理論、基于Boosting的學(xué)習(xí)技術(shù)、基于3D模型的人臉建模與識(shí)別方法等逐漸成為備受重視的技術(shù)。</p><p>　　預(yù)計(jì)達(dá)到的目標(biāo)、關(guān)鍵理論和技術(shù)、技術(shù)指標(biāo)、完成課題的方案及主要措施</p><p&g

15、t;<b>　　預(yù)計(jì)達(dá)到的目標(biāo)</b></p><p>　　學(xué)習(xí)了解圖像處理和分析的基本原理</p><p>　　對(duì)基于邊緣方向匹配的人臉檢測(cè)研究有一個(gè)細(xì)致和系統(tǒng)的了解</p><p>　　對(duì)所分析的邊緣方向匹配算法進(jìn)行軟件實(shí)現(xiàn)和測(cè)試，實(shí)現(xiàn)人臉檢測(cè)</p><p><b>　　關(guān)鍵理論和技術(shù)</b>

16、</p><p>　　基于特征的人臉檢測(cè)方法</p><p>　?、倩诘蛯犹卣鞯姆椒?lt;/p><p><b>　　灰度特征</b></p><p>　　灰度是人臉圖像的亮度信息?；叶忍卣髦饕ㄆ鞴偬卣?人臉輪廓、對(duì)稱性等)、人臉灰度分布特征(鑲嵌圖特征、直方圖特征等)。輪廓是人臉部的重要特征，邊緣檢測(cè)是提取人臉輪廓特

17、征的首要步驟，通常可以采用Sobel、Canny等算子來(lái)提取圖像邊緣。除此之外，對(duì)稱性也是人臉的基本特征之一。人臉區(qū)域內(nèi)的各個(gè)器官是人臉的重要特征，這些器官的分布具有很強(qiáng)的點(diǎn)對(duì)稱性，利用這種對(duì)稱性可以有效地檢測(cè)人臉。</p><p><b>　　膚色特征</b></p><p>　　人臉的膚色是區(qū)別于非人臉的顯著特征，具有相對(duì)的穩(wěn)定性并且和大多數(shù)背景物體的顏色相區(qū)別，

18、而且膚色不依賴于人臉面部的細(xì)節(jié)特征，對(duì)于旋轉(zhuǎn)、表情、姿態(tài)以及圖像的大小并不敏感。膚色特征主要由膚色模型來(lái)描述。所謂膚色模型，指的是用一種代數(shù)的或者查表等形式來(lái)表達(dá)哪些像素的色彩屬于膚色，或者表征出某一像素的色彩與膚色的相似程度。其檢測(cè)過(guò)程包括模型建立與模型運(yùn)用。</p><p><b>　　②基于模型的方法</b></p><p><b>　　固定模板<

19、;/b></p><p>　　固定模板匹配法的核心是將人臉的五官位置比例關(guān)系做成固定模板，用此模板在候選圖像中逐點(diǎn)搜索匹配，計(jì)算輸入圖像的各區(qū)域與該模板在人臉邊界、眼睛、鼻子、嘴巴等的相關(guān)程度，若它超過(guò)某個(gè)預(yù)先設(shè)置的閾值，則報(bào)告檢測(cè)到人臉。</p><p><b>　　彈性模板</b></p><p>　　彈性模板也稱為可變性模板，它是由

20、一個(gè)根據(jù)被測(cè)物形狀而設(shè)定的參數(shù)化的可調(diào)節(jié)模板和與之相應(yīng)的能量函數(shù)所構(gòu)成，能量函數(shù)要根據(jù)圖像的灰度信息、被測(cè)物體輪廓等先驗(yàn)知識(shí)來(lái)設(shè)計(jì)。其基本思想是根據(jù)待檢測(cè)人臉特征的先驗(yàn)形狀信息，設(shè)計(jì)一個(gè)用若干參數(shù)描述的且參數(shù)可調(diào)的器官模型，并定義一個(gè)能量函數(shù)，通過(guò)調(diào)節(jié)模型參數(shù)使能量函數(shù)最小化，此時(shí)的模型參數(shù)即作為該器官的幾何特征。</p><p>　　基于圖像的人臉檢測(cè)方法</p><p>　?、倩诰€性

21、子空間的方法</p><p><b>　　主成分分析PCA</b></p><p>　　該方法根據(jù)圖像的統(tǒng)計(jì)特征進(jìn)行正交變換以消除原本各分量之間的相關(guān)性，取變換后的所得到的最大的若干個(gè)特征向量來(lái)表示原來(lái)的圖像，保留了原圖像差異的最大信息，這若干個(gè)特征向量稱為主成分。</p><p><b>　　線性判別分析LDA</b>&

22、lt;/p><p>　　通過(guò)某一非線性變換把人臉圖像區(qū)域?qū)傩钥臻g的屬性向量映射到高維的特征空間，計(jì)算被測(cè)圖像區(qū)域與該特征空間的距離是否小于某一閾值來(lái)判斷其是否包含人臉</p><p><b>　　因子分析FA</b></p><p>　　因子分析方法是由心理學(xué)發(fā)展而來(lái)的一種線性子空間方法，類似于PCA方法，但它是從一定的模型出發(fā)，找出幾個(gè)反映原有變

23、量的公共因子。也就是說(shuō)PCA方法要使用到每個(gè)項(xiàng)目的所有變異，而FA方法僅使用一個(gè)項(xiàng)目的所共有的變異，因此FA方法可以克服PCA方法對(duì)噪聲的敏感性。</p><p>　?、诨谌斯ど窠?jīng)網(wǎng)絡(luò)的方法</p><p>　　人工神經(jīng)網(wǎng)絡(luò)是一種有效的模式識(shí)別方法，它利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和分類能力，對(duì)“人臉”樣本集合和“非人臉”樣本集合進(jìn)行學(xué)習(xí)，以產(chǎn)生分類器，從而達(dá)到人臉檢測(cè)的目的。該方法是把模式的統(tǒng)

24、計(jì)特性隱含在ANN的結(jié)構(gòu)參數(shù)中，對(duì)于人臉這類復(fù)雜的、難以顯示描述的模式，基于ANN的方法具有獨(dú)特的優(yōu)勢(shì)。</p><p><b>　?、刍诮y(tǒng)計(jì)的方法</b></p><p>　　基于統(tǒng)計(jì)的人臉檢測(cè)方法不是針對(duì)人臉的某一特征，而是從整個(gè)人臉的角度出發(fā)，利用統(tǒng)計(jì)學(xué)原理，將人臉圖像視為一個(gè)高維向量，將人臉檢測(cè)問(wèn)題轉(zhuǎn)化為高維空間中分布信號(hào)的檢測(cè)問(wèn)題，從成千上萬(wàn)張人臉圖像中提

25、取出人臉共有的一些規(guī)律，利用這些規(guī)律進(jìn)行人臉檢測(cè)。屬于這類方法的有隱馬爾科夫模型HMM、支持向量機(jī)SVM、貝葉斯決策和基于AdaBoost的方法等。</p><p>　　隱馬爾科夫模型HMM</p><p>　　隱馬爾科夫模型原本是用于描述信號(hào)統(tǒng)計(jì)特性的一組統(tǒng)計(jì)模型，是一種雙重的隨機(jī)過(guò)程，采用節(jié)點(diǎn)表示狀態(tài)，有向邊表示狀態(tài)之間的轉(zhuǎn)移。</p><p><b>

26、;　　支持向量機(jī)</b></p><p>　　該理論由Vapnik等提出，是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)理論，用于分類與回歸問(wèn)題。其核心思想是建立一個(gè)超平面作為決策曲面，使得正例和反例之間的分隔邊界被最大化。支持向量和輸入空間向量x之間的內(nèi)積核是構(gòu)造支持向量的及學(xué)習(xí)算法的關(guān)鍵，支持向量是由從訓(xùn)練數(shù)據(jù)中抽取的小的子集構(gòu)成的。</p><p><b>　　貝葉斯決策&

27、lt;/b></p><p>　　貝葉斯決策也稱為貝葉斯判別準(zhǔn)則，是計(jì)算輸入圖像區(qū)域region屬于人臉模式object的后驗(yàn)概率P(object|region)，據(jù)此對(duì)所有可能的圖像窗口進(jìn)行判別?；谪惾~斯決策規(guī)則發(fā)展了兩種人臉檢測(cè)方法。第一種方法是計(jì)算輸入圖像區(qū)域?qū)儆谌四樐Ｊ降暮篁?yàn)概率，據(jù)此對(duì)所有可能的圖像窗口進(jìn)行判別，后驗(yàn)概率的估計(jì)問(wèn)題利用貝葉斯原理轉(zhuǎn)化為一個(gè)似然度的求解問(wèn)題。另一種方法是先將圖像進(jìn)行

28、小波變換后再在不同方向和尺度的子圖像上進(jìn)行概率估計(jì)，由于同時(shí)使用多分辨率信息和由粗到細(xì)的搜索策略，這種方法可以顯著提高檢測(cè)速度而且可以用于檢測(cè)正面旋轉(zhuǎn)的人臉和側(cè)面人臉。</p><p>　　AdaBoost方法</p><p>　　基于AdaBoost的學(xué)習(xí)算法能從一個(gè)很大的特征集中選擇很小的一部分關(guān)鍵特征，從而產(chǎn)生一個(gè)極其有效的分類器。最初的AdaBoost學(xué)習(xí)算法是用來(lái)提高某種簡(jiǎn)單分類

29、器的性能，它最終形成的強(qiáng)分類器的訓(xùn)練錯(cuò)誤率接近于零，而且具有很好的推廣性。AdaBoost算法通過(guò)一個(gè)迭代的訓(xùn)練過(guò)程來(lái)得到一個(gè)強(qiáng)的分類器，在第一次訓(xùn)練出一個(gè)弱分類器后，訓(xùn)練樣本的權(quán)重得到調(diào)整，從而使沒(méi)有被第一次訓(xùn)練出的弱分類器正確分類的樣本的權(quán)重增加，如此迭代下去，最終得到的分類器是對(duì)每次訓(xùn)練得到的若分類器的一個(gè)線性組合。</p><p><b>　　技術(shù)指標(biāo)</b></p>

30、<p><b>　　搜索范圍</b></p><p>　　在全圖搜索還是給定區(qū)域搜索</p><p><b>　　定位準(zhǔn)確度</b></p><p>　　檢測(cè)結(jié)果與手工標(biāo)定位置比較，得到尺寸誤差</p><p><b>　　應(yīng)用范圍</b></p>&l

31、t;p>　　能夠檢測(cè)的人臉?lè)秶?，如旋轉(zhuǎn)，光照，表情等</p><p>　　檢測(cè)率和誤檢率

32、

33、 </p><p>　　完成課題的方案及主要措施</p><p><b>　　輸入圖像邊緣方向場(chǎng)</b></p><p>　

34、　利用Sobel算子提取輸入圖像的邊緣方向信息，其水平算子為，垂直算子為:</p><p>　　= = </p><p>　　輸入圖像與上述兩個(gè)掩模卷積得到邊緣強(qiáng)度（x，y）和（x，y）:</p><p>　?。▁，y）= * I（x，y）</p><p>　?。▁，y）= I（x，y）</p><p

35、>　　則邊緣強(qiáng)度值和方向如下:</p><p><b>　　S（x，y）= </b></p><p>　　= arctan + </p><p>　　為排除與檢測(cè)無(wú)關(guān)的信息，利用閾值限定S（x，y）產(chǎn)生新的邊緣強(qiáng)度場(chǎng)（x，y）</p><p><b>　?。▁，y）</b></p>

36、<p>　　上面得到的方向信息的取值范圍是0到2，然而邊緣方向變化取決于由黑到白或者由白到黑的變化，故將其映射到0到:</p><p><b>　?。▁，y）= </b></p><p>　　最終得到邊緣方向場(chǎng)數(shù)學(xué)表達(dá)式如下:</p><p>　　V（x，y）= （x，y）</p><p><b>

37、;　　檢測(cè)方向模板</b></p><p>　　對(duì)若干人工標(biāo)定的經(jīng)過(guò)裁剪、對(duì)齊、放縮到2732大小的圖像運(yùn)算得到平均臉(average face)，然后按照1中所述方法得到檢測(cè)用的方向模板，將檢測(cè)模板在待檢測(cè)圖像上平移，計(jì)算兩者之間的相似性，根據(jù)閾值判定檢測(cè)區(qū)域是由包含人臉。</p><p><b>　　距離度量</b></p><p&

38、gt;　　用來(lái)描述檢測(cè)模板和待檢測(cè)區(qū)域之間的相似性:</p><p><b>　　C = </b></p><p>　　如果相似度高則得到較低的值，反之得到較高的值。一種簡(jiǎn)單有效的度量方法如下：</p><p><b>　　= </b></p><p>　　考慮到檢測(cè)的實(shí)時(shí)性，該度量應(yīng)該應(yīng)該以查表的

39、方式實(shí)現(xiàn)。</p><p><b>　　候選驗(yàn)證</b></p><p>　　在得到候選人臉區(qū)域后，最終要經(jīng)過(guò)候選驗(yàn)證該區(qū)域是否包含人臉，本次課題采用的方法為稀疏網(wǎng)絡(luò)篩選(SNoW)，其中SNoW分類器需要自行實(shí)現(xiàn)。</p><p><b>　　圖像金字塔</b></p><p>　　為了對(duì)輸入圖像

40、中的不同尺寸的人臉圖像進(jìn)行檢測(cè)，采用了圖像金字塔，對(duì)輸入圖像進(jìn)行尺度縮放，使得固定模板的檢測(cè)能夠檢測(cè)到不同尺寸的人臉。</p><p><b>　　課題研究進(jìn)展計(jì)劃</b></p><p><b>　　上學(xué)期：</b></p><p>　　1.資料閱讀1617周</p><p>　　

41、2.文獻(xiàn)翻譯1819周</p><p><b>　　下學(xué)期：</b></p><p>　　1.對(duì)所做課題深入理解13周</p><p>　　2.開(kāi)題報(bào)告45周</p><p>　　3.邊緣檢測(cè)算法研究67周</p><p>　　4.學(xué)習(xí)如何

42、運(yùn)用opencv進(jìn)行圖像處理8</p><p>　　5.代碼實(shí)現(xiàn)及測(cè)試1015周</p><p>　　6.畢業(yè)論文及答辯1618周</p><p><b>　　主要參考文獻(xiàn)</b></p><p>　　《數(shù)字圖像處理》（第二版）Rafael C.Gonzalez著 電子工業(yè)出版社</