基于Kinect的主動外觀模型及在表情動畫上的應用.pdf

1、面部特征點定位和跟蹤是計算機視覺領域非常活躍的研究方向，其成果被用于人臉識別、姿態(tài)分析、表情分析、表情傳遞、人機交互、心理認知等。并為擴展出的應用，如身份識別、網(wǎng)上聊天、視頻壓縮、特效影視創(chuàng)作、人機交互等提供輸入。它的發(fā)展還帶動了相關學科領域的發(fā)展，如醫(yī)學圖像分析等。但由于人臉表情的復雜性，面部特征點定位和跟蹤問題仍未能得到完美解決，仍是本領域的研究熱點。常用的面部特征點主要圍繞眼、口、眉毛以及外輪廓，典型的如嘴角，這些特征點的位置可以

2、通過分析圖像提取。
　　面部特征點的定位和跟蹤，倘若單純依靠二維RGB圖像和二維模型，易受背景和光照姿態(tài)等變化的影響，所以現(xiàn)在的研究中越來越多的傾向于使用三維模型和深度信息。Kinect可以同時提供深度圖像和RGB圖像信息，為視頻中進行面部特征的提取提供了新的工具。
　　提取到面部特征點后，可以分析其表情信息，并傳遞到目標臉上。由于臉型的差異和表現(xiàn)出的表情各不相同，需要在視頻中人臉的特征信息和目標臉的表情信息二者之間找到一種

3、合適的映射關系。
　　本文主要解決這兩方面的問題，一是如何從視頻中提取表情或者特征點信息，二是提取后如何驅動線條動畫。以下列出本文所研究的問題:
　　(1)從同時包含深度圖像和二維圖像的視頻中準確提取面部特征點的位置，并進行跟蹤。這一方面的研究又包含兩部分內容，一部分為多視角下的，即頭部轉動情況下的面部特征點的定位問題，另一部分為位于面部邊緣約束下的特征點定位問題。
　?、倩贙inect的多視角主動外觀模型
　

4、　面部特征點提取中，精度和魯棒性是研究的關鍵。面部特征點的提取易受光照和姿態(tài)的影響，帶來很大的匹配誤差。而使用紅外，從Kinect中獲取的三維深度圖像受光照的影響較小，引入的深度也可以增強姿態(tài)判斷的準確性。由于附加的三維深度圖像和二維圖像是來自兩個攝像頭，在攝像頭之間存在視角差異，其像素點也并非一一對應的，因此需要解決其對應關系，從而來獲得各像素點的深度值。同時，初始化的優(yōu)劣對主動外觀模型的影響很大，在多視角下，頭部姿態(tài)提取后如何初始化

5、和選擇匹配模型，是我們研究的問題之一。
　?、诨谶吘壖s束的AAM輪廓特征點定位
　　傳統(tǒng)的主動外觀模型采用圖像信息進行匹配，在復雜背景環(huán)境下，不僅初始化人臉位置比較困難，而且在匹配時容易受背景的影響。而采用深度攝像頭后，從深度數(shù)據(jù)中，可以較為準確的找到物體的邊緣。由此可以用其對位于邊緣上的面部特征進行約束，提高其匹配精度。引入三維信息后如何對面部特征進行約束，也是本文研究的問題。
　　(2)視頻驅動面部線條動畫

6、>　　面部線條動畫是一門富有生命力的藝術形式，在從視頻序列制作連續(xù)的動畫時，需要研究如何從視頻的人臉上盡可能簡便地提取表特征參數(shù)，并用其驅動線條動畫。
　　本文的主要內容和貢獻體現(xiàn)在如下幾點:
　　(1)為解決深度相機下主動外觀模型的初始化及頭部視角變化問題，提出了一種深度相機下多視角主動外觀模型的初始化和視角模型選擇方法，提高了算法的準確性。
　　本文將主動外觀模型方法進行擴展，提出了一種同時利用深度圖像和彩色圖像的

7、人臉特征點定位方法。在采樣不同視角的圖像，訓練得到不同視角的AAM模型的基礎上，提出了一個基于人臉深度圖像和特征點建立人臉三維網(wǎng)格模型的方法，并利用三維網(wǎng)格模型對不同視角下的人臉進行AAM初始化和多視角模型的選擇方法，提高了多視角下AAM定位的精度和魯棒性。
　　(2)針對面部特征點定位時，輪廓邊緣特征點定位精度較低的問題，提出一種利用深度圖像對邊緣特征點進行約束的方法，可以有效的提高邊緣特征點的匹配精度。
　　本文提出的算

8、法中提取臉部輪廓邊界作為約束加入AAM能量函數(shù)中進行迭代，從而使其更接近實際輪廓。實驗表明算法可以有效提高輪廓特征點的定位精度。不過由于在優(yōu)化時更多的考慮邊界上的點，而形變是對全局進行的，在改變匹配系數(shù)適應約束點時，內部其他點的位置會發(fā)生變化，略微降低了其他特征點的精度。
　　(3)針對視頻序列驅動線條動畫的問題，提出一種利用AAM匹配過程提取的形狀參數(shù)驅動線條動畫的方法，并設計了應用工具實現(xiàn)輸出全過程。
　　線條模型由固定