面向人像卡通的動態(tài)表情自動生成方法

1、第32卷第10期計算機仿真2015年10月文章編號：1006—9348(2015)10—0271—06面向人像卡通的動態(tài)表情自動生成方法于佳駿1，謝志峰2，黃東晉2，丁友東2(1上海大學(xué)計算機工程與科學(xué)學(xué)院，上海200444；2上海大學(xué)影視藝術(shù)技術(shù)學(xué)院，上海200072)摘要：人像卡通有較強的娛樂性和美觀性，是目前流行的一種藝術(shù)表現(xiàn)形式，有廣泛的應(yīng)用價值。而目前流行的人像卡通“拼臉”軟件是非自動化的，現(xiàn)有的人臉卡通自動生成方法得到的結(jié)果

2、不夠美觀，為了結(jié)合兩者的優(yōu)點，提出了一種面向人像卡通的動態(tài)表情自動生成方法，并實現(xiàn)了對應(yīng)的完整系統(tǒng)。方法主要包含人臉卡通畫生成和動態(tài)表情生成兩步。人臉卡通畫生成的方法是提取人臉多種特征，采用人工標(biāo)注的方法建立真實人臉器官和卡通器官素材的映射關(guān)系，使用特征匹配方法生成輸入圖像對應(yīng)的卡通畫；動態(tài)表情生成的方法是使用基于Bezier曲面控制的自由變形方法對卡通器官進行變形，并采用參數(shù)映射的方法對表情的變化進行控制，最后使用OpenGL渲染生成

3、動態(tài)表情。結(jié)果表明，文中的方法簡單可行，開發(fā)的系統(tǒng)有較強的實用性和娛樂性，其中的卡通素材庫和表情模型庫也具備良好的可擴展性。關(guān)鍵詞：人像卡通；動態(tài)表情；特征匹配；自由變形；貝塞爾曲面中圖分類號：TP3919文獻標(biāo)識碼：BAnAutomaticGenerationMethodofDynamicExpressionforPortraitCartoonYUJia—junl，XIEZhi—fen92，HUANGDong—jin2，DINGYou

4、—don92(1SchoolofComputerandEngineeringandScience，ShanghaiUniversity，Shanghai200444，China；2SchoolofFilmandTelevisionArtandTechnology，ShanghaiUniversity，Shanghai200072，China)ABSTRACT：Thepopularcartoonspell—facesoftwareisno

5、tautomatic，andexistingfacecartoonautomaticgenerationmethodresultsinlackofbeautyInordertocombinetheadvantagesofbeth，wepresentedanautomaticgenera—tionmethodofdynamicexpressionforportraitcartoon，anddevelopedthecorresponding

6、systemThemethodconsistsoftwosteps：portraitcartoongenerationanddynamicexpressiongenerationWeextractedavarietyoffeaturesofface，andbuildthematchingmodelwhichshowsthemappingrelationshipbetweenrealfaceorgansandcartoonorgancom

7、ponentsviamanualannotationThenweusedthemethodoffeaturematchtogeneratethecartoonimageandthefreeformdeformationmethodtodeformthecartoon—organcomponentswhichmakesaBeziersurfacecontrolthepivotpointsoftheorgancomponentWeuseds

8、omeparameterstomapthekeyframesoftheexpression，andfinallyusedtheOpenGLrenderingthedynamicexpressionTheresultshowsthatourmethodissimpleandfeasibleThede—velopedsystemisofstrongpracticabilityandentertainmentThecartoonmateria

9、llibraryandexpressionmodellibraryhavegoodexpandabilityKEYWORDS：Portraitcartoon；Dynamicexpression；Featurematch；Freeformdeformation；Beziersurface基金項目：國家自然科學(xué)基金(61303093，61402278)；上海市科委科技攻關(guān)項目(13511505002，14511108400)；上海市自然科學(xué)

10、基金(14ZRl415800)；上海市教委科研創(chuàng)新項目(14YZ023)收稿日期：2015一01—101引言肖像畫是一種十分流行的藝術(shù)形式，人臉的肖像畫能夠藝術(shù)化地表現(xiàn)出人的面部特征。近年來，人臉圖像的非真實感繪制技術(shù)(如線條畫、油畫、卡通畫等)逐漸成為國內(nèi)外的研究熱點，它在數(shù)字娛樂等領(lǐng)域有廣泛應(yīng)用價值。同時，隨著動漫產(chǎn)業(yè)的迅速發(fā)展，在這些人臉肖像畫的表現(xiàn)形式一271—萬方數(shù)據(jù)4人像卡通自動生成41人臉特征提取模塊為了生成符合用戶人臉個

11、性特征的卡通動畫，首先需要提取人臉的特征。在這里，使用人臉特征關(guān)鍵點描述人臉的形狀特征，局部二值模式(LBP，LocalBinaryPatterns)描述人臉的紋理特征，并結(jié)合近年來在人臉識別領(lǐng)域廣泛使用的方向梯度直方圖(HOG，HistogramofGradient)描述人臉各器官的特征，具體流程是：1)使用Adaboost算法進行人臉檢測；2)使用ASM模型(ActiveShapeModel，主動形狀模型)進行人臉特征關(guān)鍵點定位，得

12、到88個特征關(guān)鍵點坐標(biāo)，分別是左眉輪廓8個點，右眉輪廓8個點，左眼輪廓8個點，右眼輪廓8個點，鼻子輪廓和鼻尖共13個點，嘴部外輪廓和內(nèi)輪廓共22個點，臉部輪廓21個點；3)對人臉區(qū)域進行歸一化，將提取的特征點坐標(biāo)與平均臉(MeanShape)的特征點坐標(biāo)對齊；4)使用二值化和圖像分割技術(shù)提取頭發(fā)輪廓特征；5)提取人臉各個器官的LBP特征；6)提取人臉各個器官的局部HOG特征。這樣，每個器官對應(yīng)的特征關(guān)鍵點坐標(biāo)、LBP特征、HOG特征組成

13、了該器官的特征向量，根據(jù)器官種類的不同，其各特征的權(quán)重也不同。通過此模塊，可以得到輸入人臉的器官特征向量組Feature=F跏。，n。，氏。，F(xiàn)m。，F(xiàn)。。，F(xiàn)。。柚，‰。，以。42卡通畫生成模塊卡通畫生成模塊由器官匹配模型和卡通畫生成兩部分組成，首先進行器官匹配選取待選卡通素材器官，然后采用圖像拼接方法生成人像卡通畫。421器官匹配模型首先建立卡通素材庫，我們請設(shè)計師根據(jù)人臉各器官的分類規(guī)則設(shè)計了卡通動漫風(fēng)格的器官，包括眉毛、眼睛、鼻

14、子、嘴巴、臉型輪廓、頭發(fā)這六類卡通素材，這些素材都是經(jīng)過設(shè)計師夸張美化過的器官。素材設(shè)計時，設(shè)計師是按照器官的分類方法來設(shè)計的，如臉型包括瓜子臉、鵝蛋臉、長臉、國字臉等等，眉毛包括柳葉眉、劍眉、濃眉等等，在遇到真實照片不在素材庫的器官類別時，設(shè)計師會對素材庫進行適當(dāng)?shù)臄U充。卡通素材庫總共經(jīng)過兩輪擴充，最終的素材庫中包含了六類卡通素材共1076張素材圖片，部分素材樣例如圖2所示。其中每張素材圖片都是大小相同的PNG格式圖片，且每一類繪制的

15、素材都對齊在各自的位置上。由于本系統(tǒng)需要實現(xiàn)表情動畫，為了使卡通器官能夠表達如眼珠移動、眨眼、張嘴之類的表情變化，我們還對眼睛、嘴巴這兩類素材進行了拆分，眼睛拆分為上眼瞼、眼珠、下眼瞼三部分，嘴巴拆分為上嘴唇和下嘴唇兩部分。在卡通畫生成模塊中，我們使用未拆分的卡通素材，在動態(tài)表情生成模塊中，我們使用拆分后的卡通素材作為動畫渲染的貼圖文件。圖2卡通素材庫中的素材樣例_辱目■‘：馘鑫舅A圖3部分人臉數(shù)據(jù)庫圖片一k，二I變?nèi)缓笮枰⑷四樒鞴?/p>

16、與卡通素材器官之間的聯(lián)系。篩選了男女各400張正面無遮擋的清晰人臉圖片(部分?jǐn)?shù)據(jù)庫內(nèi)人臉照片如圖3所示)并人工對每張照片標(biāo)注各器官對應(yīng)的最匹配的卡通素材，建立真實人臉器官與卡通素材器官的映射關(guān)系。我們將這些圖片拆分得到真實人臉器官，然后使用人臉特征提取模塊提取這些器官的特征向量，并存人人臉器官特征庫中，接著把人臉器官特征到卡通素材的映射關(guān)系存人器官匹配模型。422卡通畫生成在成功提取人臉器官特征和建立卡通素材庫后，通過特征匹配的方法生成

17、輸入人臉圖像對應(yīng)的人像卡通畫。簡單地說，在器官庫中查找與輸入人臉特征最接近的器官，使用該器官對應(yīng)的卡通素材作為匹配素材，然后采用圖像拼接的方法生成卡通畫。具體卡通生成算法的偽代碼如下：FUNCTl0NCartoon—Generate(Feature)FOREACHorgan∈lbrow，rbrow，leye，reye，nose，mouth，face，hairDO：FN。_。=FindNearest(F。，n。)Material?！蕖?M

18、atch(FN。Ⅸ。。)ENDEND將新輸入圖像提取的人臉器官特征向量組(Feature)作為輸入，對于每一個器官(organ)，使用最近鄰算法FindNear—est函數(shù)計算人臉器官特征庫中與輸入圖像最接近的器官特征(FN。一)。在本文中使用歐氏距離作為器官特征距離的度量標(biāo)準(zhǔn)。通過器官匹配模型中建立的器官特征到卡通素材的映射關(guān)系(Match)，可以獲得器官所對應(yīng)的卡通素材(Material。)。這樣就得到輸入圖像匹配的卡通素材圖片——