融合可見(jiàn)圖像和紅外圖像的人臉?lè)治鲅芯?pdf

1、由于人臉?lè)治鼍哂袕V泛的應(yīng)用前景，該研究在近些年來(lái)得到了越來(lái)越多的關(guān)注。目前的人臉?lè)治龅墓ぷ髦饕坚槍?duì)可見(jiàn)圖像。而光照變化影響可見(jiàn)圖片的外觀特征，因此，基于可見(jiàn)圖像的人臉?lè)治龇椒▽?duì)于光照的變化不具有穩(wěn)定性。與可見(jiàn)圖像不同的是，熱紅外圖像記錄的是人臉的溫度分布，對(duì)光照的變化具有魯棒性，因此研究人員開(kāi)始關(guān)注基于熱紅外圖像上的人臉?lè)治?。盡管熱紅外圖像有它的優(yōu)勢(shì)，紅外圖像也有一些可見(jiàn)圖像所沒(méi)有的缺點(diǎn)，如:易受周圍環(huán)境的溫度的影響等。因此，融合可見(jiàn)

2、圖像和熱紅外圖像的人臉?lè)治鲇锌赡艹浞职l(fā)揮兩種圖像的互補(bǔ)作用，具有重要的理論和現(xiàn)實(shí)意義。
　　 本文針對(duì)可見(jiàn)圖像以及紅外圖像各自的優(yōu)缺點(diǎn)，研究了融合可見(jiàn)圖像和紅外圖像的人臉?lè)治觯⑻岢鍪褂锰卣鲗W(xué)習(xí)的方法學(xué)習(xí)紅外圖像的特征。具體研究?jī)?nèi)容如下:
　　 (1)提出基于多次運(yùn)行遺傳算法的融合可見(jiàn)和紅外圖像的自發(fā)表情識(shí)別方法。首先，對(duì)于可見(jiàn)圖像，提取了主動(dòng)外觀模型的參數(shù)和三維頭部運(yùn)動(dòng)特征來(lái)描述可見(jiàn)圖像，而對(duì)于紅外圖像，提取了溫度的統(tǒng)

3、計(jì)特征;其次，提出基于多次運(yùn)行遺傳算法的融合方法來(lái)為構(gòu)造K近鄰分類器選擇一個(gè)相似性度量函數(shù)和相關(guān)特征的最優(yōu)組合。最后，在USTC-NVIE自發(fā)表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明了提出的方法能夠搜索到合適的相似性度量函數(shù)和相關(guān)特征。實(shí)驗(yàn)還表明融合方法相對(duì)于只使用可見(jiàn)特征的方法的優(yōu)越性。實(shí)驗(yàn)結(jié)果表明嘴部和臉頰區(qū)域的溫度變化信息相比于臉部其它區(qū)域信息對(duì)于識(shí)別自發(fā)表情似乎更可靠。
　　 (2)提出決策層融合和特征層融合可見(jiàn)和紅外圖像的自發(fā)表情識(shí)別方

4、法。首先，分別對(duì)可見(jiàn)圖像和紅外圖像提取了特征;其次，使用基于F值的方法進(jìn)行了特征選擇;然后，對(duì)提出的兩種分別用于決策層融合和特征層融合的貝葉斯網(wǎng)絡(luò)進(jìn)行參數(shù)化。在USTC-NVIE自發(fā)表情庫(kù)上的實(shí)驗(yàn)表明兩種方法均提高了表情識(shí)別的識(shí)別效果相比于單獨(dú)使用某一種特征（可見(jiàn)特征或者紅外特征）時(shí)，特別是對(duì)于恐懼表情。
　　 (3)提出顯性和隱性融合可見(jiàn)和紅外圖像的性別識(shí)別方法。首先，從可見(jiàn)圖像中提取了AAM特征來(lái)描述人臉，從紅外圖像中提取了

5、溫度統(tǒng)計(jì)特征。然后，根據(jù)F值對(duì)提取的特征進(jìn)行排序和選擇。其次，我們提出使用貝葉斯網(wǎng)絡(luò)分別顯性和隱性的融合可見(jiàn)特征和紅外特征。對(duì)于顯性融合，使用特征層融合和決策層融合兩種方法來(lái)融合可見(jiàn)圖像和紅外圖像，在USTC-NVIE自發(fā)表情庫(kù)和Equinox人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明兩種顯性融合方法相比于單獨(dú)使用某一個(gè)模態(tài)的信息對(duì)于性別識(shí)別效果都有提高。對(duì)于隱性融合，利用貝葉斯網(wǎng)絡(luò)使用一個(gè)模態(tài)的信息作為特權(quán)信息來(lái)輔助使用另外一個(gè)模態(tài)的信息進(jìn)行性別識(shí)別，實(shí)

6、驗(yàn)結(jié)果表明了它們的有效性，這對(duì)于實(shí)際應(yīng)用是非常有意義的。實(shí)驗(yàn)中特征選擇的結(jié)果還表明臉頰和額頭區(qū)域的紅外特征對(duì)于性別識(shí)別相比與其它臉部區(qū)域更為重要。
　　 (4)提出采用深度玻爾茲曼機(jī)(Deep Boltzmann Machines，DBM)的紅外特征學(xué)習(xí)方法，并將其應(yīng)用于基于紅外圖像的表情識(shí)別。首先，從紅外圖像中定位出人臉并對(duì)其進(jìn)行歸一化。然后，提出一個(gè)由一個(gè)高斯受限玻爾茲曼機(jī)和二進(jìn)制受限玻爾茲曼機(jī)組成的DBM人臉模型。在訓(xùn)練好

7、DBM模型之后，調(diào)整模型用來(lái)進(jìn)行表情識(shí)別。為了驗(yàn)證提出的方法的有效性，本章在從USTC-NVIE庫(kù)中挑選出的樣本上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了基于DBM的方法相比于其他基于工程特征方法的優(yōu)勢(shì)。得益于DBM模型的生成性，一些阻礙表情識(shí)別的不好因素也能夠得到一定程度上的修復(fù)，如頭部的旋轉(zhuǎn)和因頭發(fā)造成的遮擋。實(shí)驗(yàn)中還分析了不同的人臉區(qū)域?qū)τ诩t外表情識(shí)別的影響。結(jié)果表明了額頭、嘴巴以及臉頰區(qū)域的信息相比于臉部其他區(qū)域信息對(duì)于區(qū)分厭惡、恐懼和高興更為