基于單目視頻相機的實時人臉跟蹤與動畫方法研究.pdf

1、使用計算機生成具有真實感的人臉動畫一直是計算機圖形學中的重要研究課題。近幾十年來，研究者們圍繞著這一課題進行了大量的研究工作，取得了豐碩的成果。在工業(yè)級應用如影視游戲制作中，人們通常依賴于一些特殊設備，并且需要各種復雜的操作和大量運算，來精確跟蹤人臉運動并生成具有高度真實感的人臉動畫。但是，這些昂貴的設備和耗時的計算并不適用于面向于普通用戶的應用。對于普通用戶來說，使用單目視頻相機對人臉運動進行實時跟蹤并生成人臉動畫是最簡單、最有效的方

2、法。當前基于單目視頻相機的實時人臉跟蹤與動畫技術在人臉跟蹤的準確性、穩(wěn)定性，以及生成人臉動畫的真實感、細節(jié)豐富性、表現(xiàn)力等方面，與基于特殊設備的方法之間還存在著很大的差距。
　　本文圍繞著基于單目視頻相機的實時人臉跟蹤與動畫技術進行了深入、系統(tǒng)的研究，提出了一系列具有創(chuàng)新性的算法，為普通用戶使用單目視頻相機進行準確、高效的人臉運動跟蹤，以及生成具有真實感的人臉動畫提供了一種有效途徑。本文研究涵蓋了人臉動畫技術的三個核心組成部分:人

3、臉模型表示、人臉運動跟蹤捕獲以及數(shù)字化替身的生成。具體工作如下:
　　1.在人臉模型表示方面，針對現(xiàn)有人臉數(shù)據(jù)庫中表情表現(xiàn)力不足的問題，研制了FaceWarehouse，一個專用于可視計算應用的三維人臉表情數(shù)據(jù)庫。FaceWarehouse使用一個RGB-D相機掃描采集了150個用戶在20個不同表情下的幾何紋理數(shù)據(jù)。基于這些采集數(shù)據(jù)，為每個用戶生成一個特定的表情融合模型，包含了該用戶對應于人臉動作編碼系統(tǒng)描述的47個基本表情。最后

4、，用這150個用戶的表情融合模型構(gòu)建了一個雙線性人臉模型。該雙線性人臉模型可以用于表示不同用戶在不同表情下的人臉形狀，因此可以被用于各種可視計算應用中。
　　2.在人臉運動跟蹤捕獲方面，提出了三種基于單目視頻相機的實時人臉運動跟蹤方法。a）首先，提出了一種基于三維形狀回歸的實時人臉跟蹤方法。該方法為每個特定用戶訓練生成一個特定的三維人臉形狀回歸器，并利用該回歸器在用戶的人臉視頻中準確跟蹤人臉特征點的三維位置。b）針對前述方法中需要

5、為每個特定用戶進行預處理的問題，提出了偏移動態(tài)表情(DDE)模型這一新穎的人臉形狀表示方法，并基于DDE模型提出了一個基于單目視頻相機的全自動實時人臉運動跟蹤方法。該方法可以對任意用戶進行準確的人臉運動跟蹤，而不需要任何的預處理過程。c）在前述工作基礎上，提出了一個實時的高精度人臉運動跟蹤捕獲方法。該方法可以從人臉的局部外觀中實時計算得到局部細節(jié)形狀，進而重建高精度的人臉幾何模型，包含了豐富的臉部細節(jié)特征如皺紋等。
　　3.在數(shù)字