卷積神經(jīng)網(wǎng)絡(luò)在手繪草圖識(shí)別中的應(yīng)用研究.pdf

1、隨著數(shù)字技術(shù)、人工智能和互聯(lián)網(wǎng)的不斷發(fā)展，我們的生活被繁多的圖像信息所包圍，而且圖像的分辨率變得越來(lái)越高，存儲(chǔ)圖像所需的容量越來(lái)越大，所需的存儲(chǔ)方法也變得越來(lái)越多樣化，這些都使得現(xiàn)如今的圖像數(shù)據(jù)庫(kù)不管是在信息量，還是在數(shù)量上都大的驚人。目前，圖像處理、圖像識(shí)別和圖像檢索等領(lǐng)域的主要挑戰(zhàn)在于要求更低的時(shí)間消耗、更高的準(zhǔn)確率和提取更通用的特征。
　　手繪草圖是人類最直觀且最原始的溝通工具。近年來(lái)，隨著智能可觸屏設(shè)備的普及，手繪草圖可以

2、輕松地從手機(jī)、平板電腦、手寫(xiě)畫(huà)板上獲取，手繪草圖的相關(guān)研究吸引了越來(lái)越多國(guó)內(nèi)外專家學(xué)者的注意。目前已有的手繪草圖識(shí)別方法嚴(yán)重依賴于手工提取特征，如提取區(qū)域、輪廓等圖像的低層特性，但是由于手繪草圖中線條的多變性、個(gè)人的主觀因素以及不同人繪畫(huà)基礎(chǔ)的不確定性等原因，使得人工提取特征變得十分困難，同時(shí)手工提取費(fèi)時(shí)費(fèi)力且依靠運(yùn)氣，導(dǎo)致了現(xiàn)有的手繪草圖的識(shí)別率較低，且通用性較差。
　　近年來(lái)，深度學(xué)習(xí)已成為人工智能領(lǐng)域中備受矚目的研究熱點(diǎn)。作

3、為經(jīng)典的深度學(xué)習(xí)模型，卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別、姿勢(shì)識(shí)別、圖像識(shí)別等領(lǐng)域都取得了巨大的成功。但是，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型主要是為彩色多紋理自然圖像設(shè)計(jì)，手繪草圖與之相比，缺少了顏色、紋理等信息。手繪草圖一般為二值圖像或者灰度圖像，具有高度的抽象性和夸張性，并且存在由于用戶繪制過(guò)程中的停頓和不連貫導(dǎo)致草圖輪廓不完整等問(wèn)題，使得現(xiàn)有模型，如在ImageNet上訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，在識(shí)別手繪草圖時(shí)效果并不理想。
　　

4、相較于基于低層的局部圖像描述子，卷積神經(jīng)網(wǎng)絡(luò)模型能在中間層表述上獲得更豐富的表達(dá)，但是缺乏幾何不變性。而Fisher向量從數(shù)學(xué)的角度提出了生成概率模型與判別內(nèi)核方法相結(jié)合，具有較好的局部不變性，廣泛應(yīng)用于圖像分類、目標(biāo)識(shí)別等領(lǐng)域，特別是結(jié)合著B(niǎo)OW（Bag-of-Word，詞袋）模型。最近Schneider把Fisher向量應(yīng)用到了手繪草圖上，并取得較好的識(shí)別率，但是卻沒(méi)有根據(jù)手繪草圖的特性進(jìn)行設(shè)計(jì)，即相對(duì)于彩色多紋理自然圖像，手繪草圖

5、沒(méi)有平滑的漸變且更稀疏，并且沒(méi)有考慮到使用草圖的筆畫(huà)順序。
　　本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)在手繪草圖識(shí)別中的應(yīng)用進(jìn)行了深入的研究，主要完成的工作和創(chuàng)新點(diǎn)如下:
　　1.本章提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的手繪草圖識(shí)別方法，該方法根據(jù)手繪圖像多結(jié)構(gòu)少紋理信息的特點(diǎn)，使用大尺寸的首層卷積核取代自然圖像識(shí)別中常使用的小尺寸首層卷積核。由于自然圖像的紋理較豐富，使用小卷積核能夠提取到細(xì)節(jié)的變化，而手繪草圖缺少這些紋理信息，當(dāng)使用小卷積核時(shí)，會(huì)導(dǎo)

6、致大部分提取到的特征為空，使得傳遞給第二層卷積核的信息較少，信息丟失過(guò)快，不能很好地獲得草圖的結(jié)構(gòu)信息。訓(xùn)練淺層模型作為深層模型對(duì)應(yīng)層的初始值，并加入不改變特征大小的卷積層，不僅加深網(wǎng)絡(luò)深度、減小模型誤差，而且減少訓(xùn)練時(shí)長(zhǎng)，加快收斂。加入不改變特征大小的卷積層來(lái)加深網(wǎng)絡(luò)深度等方法以降低錯(cuò)誤率。
　　2.本章提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和Fisher向量的手繪草圖識(shí)別方法，該方法根據(jù)Fisher向量判別力強(qiáng)的特點(diǎn)，通過(guò)對(duì)圖片使用一個(gè)預(yù)

7、訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，取第8卷積層的輸出特征使用Fisher向量，這樣可以豐富圖像特征的表達(dá)，并降低分類器訓(xùn)練的復(fù)雜度。由于筆畫(huà)信息是用戶繪制時(shí)同步記錄的，能夠反應(yīng)用戶對(duì)事物的理解，一般按照先主要后細(xì)節(jié)的順序進(jìn)行繪制[2]，因此添加筆畫(huà)信息，在區(qū)分兩個(gè)相似類的圖像時(shí)，即使局部相似，但卻可能存在不一樣的筆畫(huà)順序，有助于圖像識(shí)別。使用圖像翻轉(zhuǎn)和切片用于數(shù)據(jù)擴(kuò)充，可以有效減少過(guò)擬合，增加幾何不變性。為了驗(yàn)證融合卷積神經(jīng)網(wǎng)絡(luò)和Fisher向量的識(shí)