基于動態(tài)點(diǎn)云的三維人臉表情跟蹤問題研究.pdf

1、基于動態(tài)點(diǎn)云的三維人臉表情跟蹤是計算機(jī)圖形學(xué)領(lǐng)域一個重要的研究問題，也是當(dāng)前的研究熱點(diǎn)。它在計算機(jī)動畫和游戲、數(shù)字影視、虛擬現(xiàn)實、遠(yuǎn)程網(wǎng)絡(luò)會議、可視電話、人臉表情識別、輔助教育等領(lǐng)域有著廣泛的應(yīng)用。近年來出現(xiàn)的動態(tài)三維數(shù)據(jù)測量技術(shù)使得以視頻頻率獲取動態(tài)人臉點(diǎn)云序列成為現(xiàn)實，這些點(diǎn)云序列記錄了人臉的表情變化（包括全局的剛體運(yùn)動和局部的非剛體變形），對點(diǎn)云序列進(jìn)行跟蹤生成拓?fù)湟恢碌娜蔷W(wǎng)格模型，避免了手工進(jìn)行人臉建模和表情編輯這一繁瑣工作。

2、因此，基于動態(tài)點(diǎn)云的三維人臉表情跟蹤成為真實感三維人臉表情建模最新的途徑和方式之一。
　　 基于動態(tài)點(diǎn)云的三維人臉表情跟蹤研究有三個急需解決的關(guān)鍵問題和難點(diǎn)問題:1）如何減少跟蹤過程中的人工干預(yù);2）如何獲取人臉逼真的表情細(xì)節(jié);3)如何提高處理效率，達(dá)到跟蹤的實時性。這三個問題解決的好壞將直接影響到該技術(shù)在相關(guān)領(lǐng)域的實際應(yīng)用。因此，本文針對這三個關(guān)鍵問題展開分析和討論，提出新的方法著重改善這三方面的性能，從而使方法能滿足實際應(yīng)用

3、領(lǐng)域的需求。主要工作和創(chuàng)新點(diǎn)如下:
　　 1、提出一種新的網(wǎng)格對準(zhǔn)目標(biāo)函數(shù)。目標(biāo)函數(shù)中引入法向保持和夾角保持約束條件，減少了跟蹤過程中的人工干預(yù)，并能保持較好的網(wǎng)格質(zhì)量。
　　 1)法向保持約束條件。法向保持約束條件使得參數(shù)化網(wǎng)格對準(zhǔn)每一幀點(diǎn)云時無需人工指定特征對應(yīng)點(diǎn)，減少了跟蹤過程中的人工干預(yù);與傳統(tǒng)的基于光流的自動跟蹤算法相比，基于法向保持的算法更加穩(wěn)定;法向保持約束條件使得在參數(shù)化網(wǎng)格與點(diǎn)云形狀相差較大時，也可以得

4、到理想的對準(zhǔn)效果，提高了算法的自適應(yīng)性。
　　 2)夾角保持約束條件。該條件可使跟蹤得到的一系列參數(shù)化網(wǎng)格始終保持較好的質(zhì)量，避免狹長三角片和很小三角片的出現(xiàn)。
　　 2、提出基于拉普拉斯平滑和多尺度網(wǎng)格匹配的三維人臉表情跟蹤算法，能很好地再現(xiàn)人臉表情的細(xì)節(jié)特征。
　　 1)細(xì)節(jié)特征提取。利用拉普拉斯平滑將點(diǎn)云上的皺紋、褶皺等細(xì)節(jié)特征提取出來單獨(dú)匹配，可有效解決網(wǎng)格模型對準(zhǔn)整個點(diǎn)云時難以準(zhǔn)確匹配點(diǎn)云上較尖銳的局部

5、細(xì)節(jié)變形的缺陷，提高了對準(zhǔn)精度;細(xì)節(jié)特征完全提取自點(diǎn)云，充分利用了點(diǎn)云自身所包含的運(yùn)動信息，與傳統(tǒng)的高真實感跟蹤方法相比，避免了手工繪制或單獨(dú)獲取這些細(xì)節(jié)信息所需的額外花銷和代價。
　　 2)多尺度網(wǎng)格匹配。低尺度網(wǎng)格用于匹配點(diǎn)云上平滑掉細(xì)節(jié)特征后的由臉部肌肉運(yùn)動引起的全局變形，高尺度網(wǎng)格用于匹配從點(diǎn)云上提取出的由局部皮膚變形引起的精細(xì)表情細(xì)節(jié)特征，在跟蹤得到表情細(xì)微細(xì)節(jié)的同時，保證了算法的效率。
　　 3、提出基于區(qū)域

6、變形的三維人臉表情跟蹤算法，提高了表情跟蹤的效率。
　　 將網(wǎng)格模型與每一幀點(diǎn)云對準(zhǔn)時，自動對網(wǎng)格模型進(jìn)行初始區(qū)域劃分，對每個初始區(qū)域，又自動進(jìn)行子區(qū)域分割并對每個子區(qū)域計算一個統(tǒng)一的非剛體變換，使各個子區(qū)域變形后逼近點(diǎn)云。分區(qū)域計算變形可顯著減少優(yōu)化求解變形時涉及的未知量數(shù)目，大大提高了運(yùn)算速度，并節(jié)省了存儲空間。
　　 本文提出了新的用于表情跟蹤的網(wǎng)格對準(zhǔn)目標(biāo)函數(shù)，基于拉普拉斯平滑和多尺度網(wǎng)格匹配的表情跟蹤算法，以及