人臉建模和基于MPEG-4的動畫實現(xiàn).pdf

1、隨著多媒體計算機的快速發(fā)展，計算機與人進行交流日益在增加，而人的面部傳遞著人類最廣泛的信息，如情感，精神狀態(tài)等，雖然每個人臉特征很相似，但卻有不同的表情特征，于是人臉成為計算機視覺與計算機圖形學中重要的研究課題。本文的下作包括三個方面：基于MPEG-4標準的面部動作編碼、中文文本驅動的人臉動畫、連續(xù)漢語語音驅動的人臉動畫，他們也一直是計算機視覺和計算機圖形學中一直具有挑戰(zhàn)性的研究課題。 首先提出了本論文的研究背景及研究內容，然后

2、對人臉建模、人臉動畫技術、嘴唇動畫以及MPEG-4人臉動畫標準，分別進行探討，分別對這些方法進行分類，并比較其優(yōu)點、缺點，指出研究的難點。 本文提出了一種基于MPEG-4的面部動作編碼系統(tǒng)，該系統(tǒng)從高到低定義了二個層次：MPA(minimalperceptileaction)層，F(xiàn)C(facialcoefficient)層和FAP(facialdefinitionparameter)層。以MPEG-4定義的68個人臉動畫參數(shù)FA

3、P為基礎，首先進行FAP到FC的轉換，根據(jù)MPA與FC的多對多關系，獲得MPA集合，建立以MPA矢量表達的人臉視位。在基于MPA的人臉表情動畫中，采用B樣條插值生成過渡幀，F(xiàn)ACS(facialanimationcodingsystem)引擎會根據(jù)MPA-FC-FAP的映射關系把MPA所描述的人臉動作裝化為MPEG-4規(guī)定的FAP的值，然后再驅動線框架的三維人臉模型產生動畫。 為了獲取作為人臉動畫基礎的靜態(tài)視位庫，提出了一種基于

4、參數(shù)化嘴唇模型的視位分類方法。參數(shù)化的嘴唇僅用7個參數(shù)就能比較精確地描述嘴唇動作，采用參數(shù)化的嘴唇來實現(xiàn)聚類算法比使用與嘴唇有關的特征點更魯棒。 在面部動作編碼系統(tǒng)和靜態(tài)視位庫的基礎上，提出了一套完整的文本驅動人臉動畫的方法，以中文文本為數(shù)據(jù)源，提取出音素流，從嘴唇靜態(tài)視位庫中選取由MPA矢量表達的關鍵幀，采用基于權重函數(shù)的協(xié)同發(fā)音模型來擬合過渡幀，由FACS引擎來驅動三維人臉為了得到更真實的嘴唇動畫效果，在協(xié)同發(fā)音模型里面還建

5、立了漢字之間停頓的自適應模型，協(xié)同發(fā)音上下文的邊界模型，另外，還采用變頻采樣技術來強化爆破音和超短音的效果。 語音驅動人臉動畫與文本驅動相比，需要建立聲音一視位的對應關系，本文采用識別連續(xù)漢語發(fā)音為策略，以識別的文木為選擇靜態(tài)視位的腳本，輔以協(xié)同發(fā)音過程，來合成人臉動畫。為此提出了一種基于漢語發(fā)音規(guī)則的IFNET網(wǎng)絡，模擬了漢字的拼寫規(guī)則，脫離了龐大的樣本數(shù)據(jù)庫實現(xiàn)漢語語音識別。 本文提出的算法具有潛在的應用價值，可以應