基于動(dòng)態(tài)點(diǎn)云的三維人臉表情跟蹤問(wèn)題研究.pdf

1、基于動(dòng)態(tài)點(diǎn)云的三維人臉表情跟蹤是計(jì)算機(jī)圖形學(xué)領(lǐng)域一個(gè)重要的研究問(wèn)題，也是當(dāng)前的研究熱點(diǎn)。它在計(jì)算機(jī)動(dòng)畫(huà)和游戲、數(shù)字影視、虛擬現(xiàn)實(shí)、遠(yuǎn)程網(wǎng)絡(luò)會(huì)議、可視電話(huà)、人臉表情識(shí)別、輔助教育等領(lǐng)域有著廣泛的應(yīng)用。近年來(lái)出現(xiàn)的動(dòng)態(tài)三維數(shù)據(jù)測(cè)量技術(shù)使得以視頻頻率獲取動(dòng)態(tài)人臉點(diǎn)云序列成為現(xiàn)實(shí)，這些點(diǎn)云序列記錄了人臉的表情變化（包括全局的剛體運(yùn)動(dòng)和局部的非剛體變形），對(duì)點(diǎn)云序列進(jìn)行跟蹤生成拓?fù)湟恢碌娜蔷W(wǎng)格模型，避免了手工進(jìn)行人臉建模和表情編輯這一繁瑣工作。

2、因此，基于動(dòng)態(tài)點(diǎn)云的三維人臉表情跟蹤成為真實(shí)感三維人臉表情建模最新的途徑和方式之一。
　　 基于動(dòng)態(tài)點(diǎn)云的三維人臉表情跟蹤研究有三個(gè)急需解決的關(guān)鍵問(wèn)題和難點(diǎn)問(wèn)題:1）如何減少跟蹤過(guò)程中的人工干預(yù);2）如何獲取人臉逼真的表情細(xì)節(jié);3)如何提高處理效率，達(dá)到跟蹤的實(shí)時(shí)性。這三個(gè)問(wèn)題解決的好壞將直接影響到該技術(shù)在相關(guān)領(lǐng)域的實(shí)際應(yīng)用。因此，本文針對(duì)這三個(gè)關(guān)鍵問(wèn)題展開(kāi)分析和討論，提出新的方法著重改善這三方面的性能，從而使方法能滿(mǎn)足實(shí)際應(yīng)用

3、領(lǐng)域的需求。主要工作和創(chuàng)新點(diǎn)如下:
　　 1、提出一種新的網(wǎng)格對(duì)準(zhǔn)目標(biāo)函數(shù)。目標(biāo)函數(shù)中引入法向保持和夾角保持約束條件，減少了跟蹤過(guò)程中的人工干預(yù)，并能保持較好的網(wǎng)格質(zhì)量。
　　 1)法向保持約束條件。法向保持約束條件使得參數(shù)化網(wǎng)格對(duì)準(zhǔn)每一幀點(diǎn)云時(shí)無(wú)需人工指定特征對(duì)應(yīng)點(diǎn)，減少了跟蹤過(guò)程中的人工干預(yù);與傳統(tǒng)的基于光流的自動(dòng)跟蹤算法相比，基于法向保持的算法更加穩(wěn)定;法向保持約束條件使得在參數(shù)化網(wǎng)格與點(diǎn)云形狀相差較大時(shí)，也可以得

4、到理想的對(duì)準(zhǔn)效果，提高了算法的自適應(yīng)性。
　　 2)夾角保持約束條件。該條件可使跟蹤得到的一系列參數(shù)化網(wǎng)格始終保持較好的質(zhì)量，避免狹長(zhǎng)三角片和很小三角片的出現(xiàn)。
　　 2、提出基于拉普拉斯平滑和多尺度網(wǎng)格匹配的三維人臉表情跟蹤算法，能很好地再現(xiàn)人臉表情的細(xì)節(jié)特征。
　　 1)細(xì)節(jié)特征提取。利用拉普拉斯平滑將點(diǎn)云上的皺紋、褶皺等細(xì)節(jié)特征提取出來(lái)單獨(dú)匹配，可有效解決網(wǎng)格模型對(duì)準(zhǔn)整個(gè)點(diǎn)云時(shí)難以準(zhǔn)確匹配點(diǎn)云上較尖銳的局部

5、細(xì)節(jié)變形的缺陷，提高了對(duì)準(zhǔn)精度;細(xì)節(jié)特征完全提取自點(diǎn)云，充分利用了點(diǎn)云自身所包含的運(yùn)動(dòng)信息，與傳統(tǒng)的高真實(shí)感跟蹤方法相比，避免了手工繪制或單獨(dú)獲取這些細(xì)節(jié)信息所需的額外花銷(xiāo)和代價(jià)。
　　 2)多尺度網(wǎng)格匹配。低尺度網(wǎng)格用于匹配點(diǎn)云上平滑掉細(xì)節(jié)特征后的由臉部肌肉運(yùn)動(dòng)引起的全局變形，高尺度網(wǎng)格用于匹配從點(diǎn)云上提取出的由局部皮膚變形引起的精細(xì)表情細(xì)節(jié)特征，在跟蹤得到表情細(xì)微細(xì)節(jié)的同時(shí)，保證了算法的效率。
　　 3、提出基于區(qū)域

6、變形的三維人臉表情跟蹤算法，提高了表情跟蹤的效率。
　　 將網(wǎng)格模型與每一幀點(diǎn)云對(duì)準(zhǔn)時(shí)，自動(dòng)對(duì)網(wǎng)格模型進(jìn)行初始區(qū)域劃分，對(duì)每個(gè)初始區(qū)域，又自動(dòng)進(jìn)行子區(qū)域分割并對(duì)每個(gè)子區(qū)域計(jì)算一個(gè)統(tǒng)一的非剛體變換，使各個(gè)子區(qū)域變形后逼近點(diǎn)云。分區(qū)域計(jì)算變形可顯著減少優(yōu)化求解變形時(shí)涉及的未知量數(shù)目，大大提高了運(yùn)算速度，并節(jié)省了存儲(chǔ)空間。
　　 本文提出了新的用于表情跟蹤的網(wǎng)格對(duì)準(zhǔn)目標(biāo)函數(shù)，基于拉普拉斯平滑和多尺度網(wǎng)格匹配的表情跟蹤算法，以及