面向MPEG-4模型基編碼的人臉?lè)治雠c合成.pdf

1、MPEG-4作為集中各種多媒體應(yīng)用于一體的新一代壓縮標(biāo)準(zhǔn)得到廣泛應(yīng)用，而其中基于內(nèi)容的編碼標(biāo)準(zhǔn)因其應(yīng)用的優(yōu)勢(shì)成為MPEG-4標(biāo)準(zhǔn)的重要特色之一。本文選擇視頻信息中頻繁出現(xiàn)的視覺(jué)對(duì)象--人臉作為編碼內(nèi)容，開(kāi)展面向MPEG-4模型基編碼人臉?lè)治雠c合成的理論和方法研究。該項(xiàng)研究工作涉及到三個(gè)主要環(huán)節(jié)：面向MPEG-4的人臉建模、以人臉動(dòng)畫(huà)參數(shù)提取為目的的人臉?lè)治?，以及利用人臉?dòng)畫(huà)參數(shù)進(jìn)行模型驅(qū)動(dòng)的人臉合成。 在人臉建模方面，本文提出一

2、種面向MPEG-4基于三維形變模型進(jìn)行自動(dòng)化人臉重建的方法。該方法針對(duì)基于重采樣的規(guī)格化人臉數(shù)據(jù)進(jìn)行網(wǎng)格簡(jiǎn)化，以便適用于MPEG-4模型基編碼應(yīng)用下的人臉重建，最終采用三維形變模型得到用于人臉運(yùn)動(dòng)分析和動(dòng)畫(huà)的人臉模型。 在人臉?lè)治龇矫?，結(jié)合狀態(tài)預(yù)測(cè)的解析優(yōu)化，本文提出一種基于圖象配準(zhǔn)原則提取人臉動(dòng)畫(huà)參數(shù)的算法。針對(duì)有表情圖像的面部跟蹤，通過(guò)引入預(yù)測(cè)模型來(lái)約束優(yōu)化搜索范圍，更加合理地描述搜索空間，以指導(dǎo)搜索的正確進(jìn)行，加快速度，提

3、高效率。為綜合考慮整體殘差和局部殘差表達(dá)的合理性，提出一個(gè)新的衡量圖像配準(zhǔn)的相似度準(zhǔn)則，計(jì)算面部特征點(diǎn)的剛性和彈性位移，并最終轉(zhuǎn)化為可供合成端進(jìn)行人臉動(dòng)畫(huà)驅(qū)動(dòng)的面部動(dòng)畫(huà)參數(shù)。另外，針對(duì)有較大剛性運(yùn)動(dòng)圖像的面部跟蹤，提出結(jié)合頭部姿勢(shì)估計(jì)進(jìn)行面部特征跟蹤的方法。引入頭部姿勢(shì)估計(jì)調(diào)整人臉網(wǎng)格模型進(jìn)行全局移動(dòng)，通過(guò)對(duì)圖像之間的剛性運(yùn)動(dòng)進(jìn)行補(bǔ)償，使跟蹤在新的位置上繼續(xù)，以便加快迭代速度。 在人臉合成方面，本文提出基于局部訓(xùn)練的控制點(diǎn)運(yùn)動(dòng)擴(kuò)

4、散算法和基于獨(dú)立分量分析(ICA)的人臉全局動(dòng)畫(huà)驅(qū)動(dòng)模式。為了進(jìn)行人臉動(dòng)畫(huà)的全局調(diào)整和運(yùn)動(dòng)特性分析，本文基于局部訓(xùn)練建立面部動(dòng)畫(huà)參數(shù)控制點(diǎn)與非控制點(diǎn)之間的運(yùn)動(dòng)關(guān)系模型，基于獨(dú)立分量分析抽取人臉動(dòng)畫(huà)基本模式，構(gòu)建可以組合表達(dá)真實(shí)人臉運(yùn)動(dòng)的獨(dú)立分量主元，給出更加緊致準(zhǔn)確的一般人臉動(dòng)畫(huà)表達(dá)模式，改善人臉動(dòng)畫(huà)的真實(shí)性。 在以上各項(xiàng)研究的基礎(chǔ)上，本文最終構(gòu)建了面向MPEG-4模型基編碼，針對(duì)人臉視頻進(jìn)行人臉?lè)治龊秃铣傻脑拖到y(tǒng)。該系統(tǒng)可以