三維人臉表情合成研究.pdf

1、面部表情是人們傳遞情感信息的重要手段，在日常交流中占有重要的地位。在各種計(jì)算機(jī)服務(wù)日益便捷的今天，人們希望計(jì)算機(jī)能夠和人一樣進(jìn)行情感交流，特別是能夠表達(dá)出擬人化的面部表情。人臉表情合成技術(shù)作為當(dāng)今計(jì)算機(jī)應(yīng)用領(lǐng)域的一個(gè)熱點(diǎn)問題，其成果在影視及游戲娛樂、人機(jī)交互、虛擬現(xiàn)實(shí)、遠(yuǎn)程會(huì)議與教育、輔助醫(yī)療等方面有著廣泛的應(yīng)用。該領(lǐng)域的研究經(jīng)過多年的發(fā)展，取得了長足的進(jìn)步，并涌現(xiàn)出較多有效的人臉表情合成方法與模型。然而，由于面部表情具有豐富而復(fù)雜的變

2、化，要快速生動(dòng)的利用計(jì)算機(jī)進(jìn)行表情的重現(xiàn)并付諸實(shí)用化，目前仍有不少問題亟待解決。如何設(shè)計(jì)和構(gòu)建同時(shí)具有高度真實(shí)感和較高實(shí)用性的表情合成系統(tǒng)，仍然是一個(gè)富于挑戰(zhàn)性的研究課題。 本文以研究和建立具有真實(shí)感和實(shí)用性的三維人臉表情合成系統(tǒng)為目標(biāo)，對(duì)三維人臉數(shù)據(jù)處理、三維人臉建模、基于生理建模的表情合成、基于統(tǒng)計(jì)建模的表情合成等相關(guān)課題進(jìn)行了深入的探討和研究。分別從生理建模和統(tǒng)計(jì)建模兩個(gè)角度出發(fā)，研究了人臉表情合成問題，并提出了相應(yīng)的表情

3、合成模型。在此基礎(chǔ)上，設(shè)計(jì)和構(gòu)建了面向一般人臉的多模式三維人臉表情合成系統(tǒng)。 本文中工作的創(chuàng)新點(diǎn)及主要貢獻(xiàn)可總結(jié)如下。 第一，為了提高三維人臉數(shù)據(jù)處理的準(zhǔn)確度和自動(dòng)化程度，提出了一個(gè)基于對(duì)應(yīng)匹配的三維人臉精細(xì)配準(zhǔn)方法。該方法把三維人臉的對(duì)應(yīng)問題轉(zhuǎn)化為二維圖像的對(duì)應(yīng)匹配。通過若干自動(dòng)檢測(cè)的特征點(diǎn)位置提供先驗(yàn)信息，對(duì)于全圖像的對(duì)應(yīng)關(guān)系進(jìn)行插值，得到“粗”對(duì)應(yīng)；將圖像進(jìn)行光照補(bǔ)償后，進(jìn)一步采用光流法進(jìn)一步修正對(duì)應(yīng)關(guān)系，得到“精

4、細(xì)”對(duì)應(yīng)。該算法自動(dòng)化程度很高，通過兩個(gè)階段的處理后，所得的三維人臉對(duì)應(yīng)較為精確，并對(duì)光照不敏感。在此基礎(chǔ)上，進(jìn)一步構(gòu)建了三維人臉的統(tǒng)計(jì)模型，并將其作為表情合成平臺(tái)的基礎(chǔ)。 第二，在分析和總結(jié)人臉生理解剖知識(shí)的基礎(chǔ)上，提出了一種新的用于表情合成的自適應(yīng)三維人臉生理模型。該模型包括一個(gè)改進(jìn)的肌肉模型、一個(gè)下頜骨模型、一個(gè)單層皮膚模型以及相應(yīng)的皮膚的應(yīng)力機(jī)制。其中的皮膚模型具有簡約的結(jié)構(gòu)，并設(shè)計(jì)了相應(yīng)的應(yīng)力機(jī)制來模擬真實(shí)皮膚的應(yīng)力變

5、化。該模型的優(yōu)點(diǎn)在于結(jié)構(gòu)簡單，合成效率很高，并保證了表情合成的真實(shí)感。同時(shí)，為該模型設(shè)計(jì)了一種自適應(yīng)匹配方法。該匹配方法將生理模型參數(shù)與人臉形狀特征相聯(lián)系，對(duì)于新的人臉，通過形變模型自動(dòng)獲得輸入人臉的三維外觀，并利用其形狀特征，可以自動(dòng)生成其生理模型參數(shù)。該匹配方法計(jì)算量小，速度快，匹配結(jié)果精確，并能完全實(shí)現(xiàn)自動(dòng)化。 第三，在對(duì)大量三維人臉數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的基礎(chǔ)上，提出一種基于雙線性分析的三維人臉表情模擬技術(shù)。通過對(duì)三維人臉形狀

6、樣本的雙線性分析，將三維人臉的身份特征與表情身份相分離，各自構(gòu)成獨(dú)立的線性子空間。該雙線性模型規(guī)模較小，適用于不同的二維和三維人臉應(yīng)用課題。 第四，為了提高已有雙線性模型對(duì)人臉與表情的表達(dá)能力，提出了一種肌肉參數(shù)驅(qū)動(dòng)的雙線性表情合成方法。該方法一方面采取分塊處理的策略，對(duì)于人臉的各個(gè)區(qū)域建立雙線性模型，取得了比總體處理更好的人臉重建和表情模擬效果；另一方面，通過研究生理模型參數(shù)與統(tǒng)計(jì)表情參數(shù)間的映射，在不同的表情合成方法間建立了

7、對(duì)應(yīng)關(guān)系，可以根據(jù)不同的肌肉參數(shù)，獲得對(duì)應(yīng)的表情參數(shù)，再利用雙線性模型來生成實(shí)際表情。該方法能夠生成內(nèi)容與力度變化都較為豐富的人臉表情。 第五，提出了一種基于流形分析的非線性表情合成模型。該模型中，不同的人臉表情被投影到不同的低維表情流形上，并采用人工監(jiān)督學(xué)習(xí)的方法訓(xùn)練和獲得不同表情流形間的非線性變化軌跡。該模型比線性化模型更能夠有效描述表情狀態(tài)間的非線性變化關(guān)系。 最后，利用上述工作，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向一般人臉的多模