人臉表情的識(shí)別、重建與合成.pdf

1、近30多年來(lái)，通過(guò)計(jì)算機(jī)對(duì)人臉表情進(jìn)行自動(dòng)處理成為當(dāng)前計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、模式識(shí)別等領(lǐng)域的一個(gè)熱點(diǎn)研究課題，在視頻會(huì)議、影視制作、智能人機(jī)接口等方面有著廣泛的應(yīng)用前景。本文的工作主要集中在兩個(gè)方面，一方面是對(duì)人臉表情進(jìn)行識(shí)別，另一方面是對(duì)人臉進(jìn)行重建，合成人臉表情。 提出論文的研究背景和研究?jī)?nèi)容，回顧人臉表情識(shí)別(基于靜態(tài)圖像、視頻及語(yǔ)音視頻)、人臉重建以及表情合成的相關(guān)技術(shù)，分別對(duì)這些方法進(jìn)行分類和比較，指出其優(yōu)點(diǎn)和不足

2、之處，并給出研究的難點(diǎn)。 針對(duì)人臉表情識(shí)別，根據(jù)輸入數(shù)據(jù)的不同，分三章進(jìn)行闡述。 第三章提出基于GPU的主動(dòng)形狀模型(ASM)用于對(duì)靜態(tài)圖像中的人臉表情特征進(jìn)行跟蹤和提取，通過(guò)基于GPU的邊界濾波和調(diào)和映射，使對(duì)象梯度輪廓梯度得到增強(qiáng)，減少模型匹配收斂的迭代次數(shù)和搜索時(shí)間，在速度和準(zhǔn)確度上都比傳統(tǒng)的ASM有很大提高。進(jìn)而采用SVM進(jìn)行表情分類。 對(duì)于動(dòng)態(tài)視頻序列，第四章提出基于Kalman預(yù)測(cè)的AAM視頻跟蹤算法

3、，利用當(dāng)前幀跟蹤結(jié)果通過(guò)Kalman濾波預(yù)測(cè)下一幀中關(guān)鍵點(diǎn)的位置，并采用跟蹤結(jié)果對(duì)形狀模型進(jìn)行更新，從而減少搜索空間，使在視頻中進(jìn)行人臉特征搜索的速度得以提高。提出一個(gè)基于二元隱馬爾科夫模型(HiddenMarkovModel，HMM)的視頻人臉表情識(shí)別模型，將跟蹤的特征進(jìn)行分割構(gòu)造兩個(gè)獨(dú)立的特征向量流，使表情動(dòng)作和嘴巴的動(dòng)作得以分離，既保持二者的時(shí)間關(guān)聯(lián)性，又保持在人臉運(yùn)動(dòng)中的獨(dú)立性，使識(shí)別的準(zhǔn)確率得到提高。 在第四章工作的基

4、礎(chǔ)上，第五章對(duì)二元HMM進(jìn)行推廣，提出一個(gè)三元HMM及其相關(guān)的Viterbi最優(yōu)路徑搜索算法和模型訓(xùn)練算法，引入情緒語(yǔ)音，實(shí)現(xiàn)語(yǔ)音輔助的人臉表情識(shí)別，并通過(guò)設(shè)置權(quán)重平衡視覺特征和語(yǔ)音特征的影響，使平均識(shí)別率取得了提高，識(shí)別更為魯棒。 對(duì)于人臉重建和表情合成，工作集中在快速人臉紋理映射和高分辨率人臉網(wǎng)格模型表情生成這兩個(gè)問(wèn)題上。 第六章提出一個(gè)基于RBF速度場(chǎng)的實(shí)時(shí)交互紋理映射算法，避免對(duì)特征點(diǎn)的全局操作導(dǎo)致的復(fù)雜交互和較

5、大系統(tǒng)開銷，使紋理映射變得簡(jiǎn)單快捷，系統(tǒng)開銷大大降低，實(shí)現(xiàn)基于單幅照片的人臉快速紋理映射，最后通過(guò)FAP參數(shù)驅(qū)動(dòng)獲得不同表情的人臉。 第七章在進(jìn)行人臉網(wǎng)格的對(duì)齊方面，提出基于SVD的三維人臉網(wǎng)格對(duì)齊算法，使不同尺度、方向和位置的人臉網(wǎng)格模型取得對(duì)齊；在實(shí)現(xiàn)不同人臉網(wǎng)格之間的對(duì)應(yīng)上，提出基于GPU的網(wǎng)格圖像反饋對(duì)應(yīng)算法，解決以往算法需要迭代逼近取得對(duì)應(yīng)的計(jì)算復(fù)雜度高、時(shí)間開銷大的問(wèn)題；在表情的映射上，提出基于Helmholtz-H