多波段隱性融合的表情識別.pdf

1、近年來，隨著智能終端設(shè)備的發(fā)展，人們對個性化交互的需求越來越多。由于對人類面部表情的研究可以廣泛應(yīng)用于個性化交互，因此表情識別越來越受到研究人員的關(guān)注。目前對于表情識別的研究主要基于可見圖像和視頻，易受光照影響，在自然光照下不夠魯棒。熱紅外圖像反應(yīng)的是面部的溫度信息，不受光照影響，但是不包含對表情識別很有用的幾何信息和紋理信息。因此融合熱紅外圖像和可見圖像進(jìn)行表情識別具有重要的現(xiàn)實意義。本文稱訓(xùn)練期間和測試期間都要求有兩種模態(tài)的信息的融

2、合方法為顯性融合，訓(xùn)練期間用兩種模態(tài)的數(shù)據(jù)而測試期間只要一種模態(tài)的數(shù)據(jù)的融合方法為隱性融合。考慮到熱紅外圖像在現(xiàn)實生活中獲取的途徑比較少，基于多波段隱式融合的表情識別更具有實用價值，因此本文對基于多波段隱式融合的表情識別做了兩個方面的研究。另外，針對紅外圖像不易獲取的現(xiàn)狀，本文對熱紅外圖像的生成做了初步的探討。具體內(nèi)容如下:
　　(1)提出一種基于紅外增強的可見特征的表情識別方法。首先，對可見圖像提取主動外觀模型參數(shù)和頭部運動特征

3、;對紅外圖像提取溫度統(tǒng)計特征并進(jìn)行特征選擇。其次，基于典型相關(guān)分析構(gòu)建新的特征空間。最后在映射到新的空間的可見特征上訓(xùn)練支持向量機。NVIE庫和Equinox庫上的實驗結(jié)果表明，通過紅外隱式的增強可見特征可以提升表情識別效果。
　　(2)提出一種基于熱紅外增強可見分類器的表情識別方法。首先分別提取可見特征和熱紅外特征并對提取的特征進(jìn)行特征選擇。然后在可見特征和熱紅外特征上分別構(gòu)建表情分類器，兩個分類器通過一個相似性約束一起學(xué)習(xí)。N

4、VIE庫和Equinox庫上的實驗結(jié)果表明熱紅外增強分類器的表情識別方法可以有效利用熱紅外圖像在訓(xùn)練過程中對可見圖像的補充作用，構(gòu)建更好的可見表情分類器。
　　(3)提出基于可見圖像生成熱紅外圖像的方法，并基于生成的圖像進(jìn)行表情識別。使用的框架為生成對抗網(wǎng)絡(luò)。生成網(wǎng)絡(luò)分別使用了U-net結(jié)構(gòu)和編碼解碼結(jié)構(gòu)，判別網(wǎng)絡(luò)使用的是卷積神經(jīng)網(wǎng)絡(luò)。使用了兩種目標(biāo)生成函數(shù)生成圖像，并對結(jié)果進(jìn)行了比較。NVIE庫的實驗結(jié)果表明，生成對抗網(wǎng)絡(luò)的框架