人機情感接口-人臉運動參數(shù)提取、傳輸、動畫合成及表情識別研究.pdf

1、人機情感接口：人臉表情運動參數(shù)跟蹤提取、參數(shù)傳輸并合成具有真實感的語音同步人臉動畫以及表情識別，是當(dāng)今計算機視覺和圖形學(xué)領(lǐng)域的一個熱點問題，它在人機交互、視頻編碼、娛樂和虛擬現(xiàn)實等方面有著非常多的應(yīng)用。本文面向的一個重要領(lǐng)域是極低比特率下模型基人臉視頻編解碼系統(tǒng)。在過去的三十年中，相關(guān)領(lǐng)域取得了長足的發(fā)展與進步，但仍存在許多問題亟待解決。其中，如何快速獲得準(zhǔn)確的人臉運動參數(shù)，如何以更適合人臉這一特定對象的方式來傳輸參數(shù)，如何獲得具有高真

2、實感的語音同步人臉動畫，如何獲得高識別率的表情識別結(jié)果是一個富于挑戰(zhàn)性的課題。本課題涉及計算機視覺中的運動分析，信道編碼，人臉的運動學(xué)和動力學(xué)建模和表示、協(xié)同發(fā)音機制的建模以及文本驅(qū)動下的人臉動畫、模式識別等諸問題。
　　 面向模型基人臉視頻編解碼領(lǐng)域，本文從以下幾個方面對人臉表情運動參數(shù)跟蹤提取、參數(shù)傳輸并合成具有真實感的語音同步人臉動畫以及表情識別這一富于挑戰(zhàn)性的研究課題進行了重點研究。
　　 首先，提出了一種基于單

3、幅圖像的初始幀特定人臉自動適配方法。首先對于編碼端發(fā)送視頻的首幀圖像，利用Adaboost+Camshift+AAM（Active appearance model）算法來檢測人臉和定位特征點，接著特定化一個簡潔人臉通用網(wǎng)格模型以得到人臉構(gòu)造參數(shù)(FDP：Facial definition parameter)；對于得到的FDP，解碼端用來特定化一個精細人臉通用網(wǎng)格模型。
　　 其次，提出了一種基于在線模型匹配與更新的人臉三維表

4、情運動跟蹤算法。利用自適應(yīng)的統(tǒng)計觀測模型來建立在線模型，自適應(yīng)的狀態(tài)轉(zhuǎn)移模型結(jié)合改進的粒子濾波來同時進行確定性搜索和隨機化搜索，并且融合目標(biāo)的多種測量信息來減少光照影響和個人相關(guān)性。從而既可以得到全局剛體運動參數(shù)，又可以得到局部非剛體表情運動參數(shù)。
　　 再次，對于人臉視頻中的每一幀，首先提出了一種靜態(tài)人臉表情識別算法，人臉表情運動參數(shù)被提取出來后，根據(jù)表情生理知識來分類表情；接著，為了應(yīng)對知識的不足，提出了一種靜態(tài)表情識別和動

5、態(tài)表情識別相結(jié)合的算法,以基于多類表情馬爾可夫鏈和粒子濾波的統(tǒng)計框架結(jié)合表情生理知識來同時提取人臉表情運動和識別表情。
　　 接著，提出了一種面向MPEG-4人臉表情運動參數(shù)(FAP：Facial animation parameter)的壓縮算法?；诿娌縿幼鲉卧ˋction Unit）可以表示人臉表情運動的思想以及同一幀內(nèi)人臉表情運動參數(shù)的相關(guān)性(由于人臉運動受限于肌肉和皮膚)，利用面部運動基函數(shù)(FBF)來組合FAP，從

6、而可以結(jié)合幀間編碼和幀內(nèi)編碼的方法來降低碼率，且無編碼延遲。
　　 此外，提出了一種基于MPEG-4的三維人臉表情動畫算法。采用參數(shù)模型和肌肉模型相結(jié)合的方式來生成人臉動畫；同時對人臉功能區(qū)進行劃分。實驗證明了該算法在FAP流的驅(qū)動下可以生成真實感較強的三維人臉表情動畫。
　　 最后，在對協(xié)同發(fā)音現(xiàn)象建模后，生成與英語音素對應(yīng)的人臉視素動作，在視素之間的動畫由非均勻有理B樣條函數(shù)插值生成，并且可以混合表情動作；語音合成采