跨模態(tài)人臉圖像生成方法研究

1、國(guó)內(nèi)圖書(shū)分類(lèi)號(hào)：TP391.4學(xué)校代碼：10213國(guó)際圖書(shū)分類(lèi)號(hào)：612.3密級(jí)：公開(kāi)工學(xué)碩士學(xué)位論文工學(xué)碩士學(xué)位論文跨模態(tài)人臉圖像生成方法研究碩士研究生：黨蕓琦導(dǎo)師：左旺孟教授申請(qǐng)學(xué)位：工學(xué)碩士學(xué)科：計(jì)算機(jī)科學(xué)與技術(shù)所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2016年6月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)萬(wàn)方數(shù)據(jù)哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文I摘要隨著智能移動(dòng)設(shè)備和互聯(lián)網(wǎng)走進(jìn)千家萬(wàn)戶，不同風(fēng)格的人臉照片圖像在專(zhuān)業(yè)領(lǐng)域以及人們?nèi)粘Ｉ钪卸际殖?/p>

2、見(jiàn)。例如照片風(fēng)格和素描風(fēng)格的人臉圖像，可見(jiàn)光和近紅外風(fēng)格人臉圖像等，因此經(jīng)常需要對(duì)不同風(fēng)格的圖像進(jìn)行相互轉(zhuǎn)化。譬如，從人臉照片圖像生成對(duì)應(yīng)的素描人臉，以滿足數(shù)字娛樂(lè)或?qū)I(yè)領(lǐng)域的實(shí)際應(yīng)用需要。自動(dòng)的跨模態(tài)人臉合成旨在將人臉圖像在不同風(fēng)格下進(jìn)行轉(zhuǎn)化，作為目前具有挑戰(zhàn)性的一項(xiàng)任務(wù)，具有重要的研究意義。目前針對(duì)此項(xiàng)任務(wù)提出了很多方法，但是仍然在視覺(jué)效果等方面存在不足。本文針對(duì)跨模態(tài)人臉合成進(jìn)行算法改進(jìn)。首先提出基于引導(dǎo)圖像濾波的兩步細(xì)節(jié)增強(qiáng)算法

3、，第一步是基于KNN的基準(zhǔn)算法，對(duì)測(cè)試圖像小塊在訓(xùn)練集源模態(tài)圖像中搜索與其最相像的圖像小塊，并利用與之對(duì)應(yīng)的目標(biāo)模態(tài)圖像小塊進(jìn)行線性組合，以此估計(jì)測(cè)試圖像小塊的目標(biāo)模態(tài)初始合成結(jié)果；第二步對(duì)初始合成結(jié)果應(yīng)用引導(dǎo)圖像濾波，將輸入測(cè)試圖像作為引導(dǎo)圖像，以此彌補(bǔ)以往算法面部細(xì)節(jié)缺失的不足。通過(guò)定性的實(shí)驗(yàn)評(píng)估，該方法在保持全局特征基礎(chǔ)上能夠有效增強(qiáng)面部細(xì)節(jié)，例如能有效恢復(fù)頭發(fā)紋理、瞳孔亮光等細(xì)節(jié)。第二，在此基礎(chǔ)上，進(jìn)一步提出結(jié)構(gòu)化細(xì)節(jié)增強(qiáng)跨模態(tài)

4、人臉合成算法，主要思想是對(duì)面部五官和其他部分采用不同的合成策略，從而有效地解決面部五官的合成上缺失陰影細(xì)節(jié)的問(wèn)題。第三，針對(duì)某些測(cè)試圖像的合成結(jié)果存在面部五官位置偏差的現(xiàn)象，通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)是由于訓(xùn)練集源模態(tài)和目標(biāo)模態(tài)五官并非完全對(duì)齊，因此提出基于對(duì)齊訓(xùn)練集來(lái)改善實(shí)驗(yàn)結(jié)果的策略。同時(shí)，針對(duì)素描人臉圖像改進(jìn)面部特征點(diǎn)算法，并將其應(yīng)用到對(duì)齊數(shù)據(jù)集上，該方法可以有效改善面部五官合成位置偏移、輪廓不清晰的問(wèn)題。本文還將對(duì)齊訓(xùn)練集也應(yīng)用到基于卷積