基于關(guān)注度機(jī)制的圖像理解.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展以及智能相機(jī)和移動(dòng)設(shè)備的普及，圖像數(shù)據(jù)出現(xiàn)了爆炸式增長。在日常生活中，人們?cè)絹碓搅?xí)慣于通過拍照來記錄他們生活的點(diǎn)點(diǎn)滴滴、表達(dá)抒發(fā)他們對(duì)待一些事物的看法、亦或者通過社交網(wǎng)絡(luò)去分享一段他們自己的經(jīng)歷。據(jù)InfoTrends[1]估計(jì)，2017年全年使用智能手機(jī)，數(shù)碼相機(jī)和其他設(shè)備拍攝的圖片數(shù)目達(dá)1.2萬億張，而儲(chǔ)存的照片總量將高達(dá)4.7萬億。這些照片一部分被用戶儲(chǔ)存在本地的儲(chǔ)存設(shè)備中，一部分將被用戶上傳至社交網(wǎng)絡(luò)中，作為

2、用戶分享的內(nèi)容。圖像已然成為了人類記錄生活的重要信息組成部分。用戶的圖像通常通過以下幾個(gè)方面進(jìn)行管理:1）作為獨(dú)立個(gè)體的圖像，這類圖像通常以單張圖像的形式出現(xiàn)，圖像描述獨(dú)立物體、風(fēng)景或者人物等。2）作為事件內(nèi)容的圖像，這類圖像通常以故事相冊(cè)的形式得以保存，其內(nèi)容多為通過一系列時(shí)間連續(xù)的圖像記錄生活中的一些事件，比如生日聚會(huì)，外出旅游。3）作為某一類特定物體的圖像，這類圖像通常以集合相冊(cè)的形式得以保存，其內(nèi)容不具有時(shí)間連續(xù)性，其中的圖像描

3、述具體的特定物體，比如各種各樣的花、狗。4）作為人臉圖像，這類圖像包含了用戶與親朋好友的合照，用戶希望得到人臉信息。而對(duì)于如此大規(guī)模的圖像，如何認(rèn)知圖像的內(nèi)容并進(jìn)行管理成為了一項(xiàng)挑戰(zhàn)。
　　關(guān)注度機(jī)制的靈感來自于人們認(rèn)知事物的過程。為了更好地認(rèn)知一個(gè)事物，人們?cè)谟^察該事物的時(shí)候，目光會(huì)沿感興趣的地方移動(dòng)，有時(shí)會(huì)對(duì)著局部細(xì)節(jié)仔細(xì)觀察，然后再得出最終結(jié)論。這一過程在網(wǎng)絡(luò)的學(xué)習(xí)過程中體現(xiàn)為，對(duì)有用的信息給予其較高的權(quán)重而對(duì)于無用的信息給

4、予其較低的權(quán)重。無論是在傳統(tǒng)的機(jī)器學(xué)習(xí)領(lǐng)域還是近年來在計(jì)算機(jī)視覺領(lǐng)域產(chǎn)生了突破式進(jìn)展的深度學(xué)習(xí)領(lǐng)域，關(guān)注度機(jī)制都可以對(duì)圖像認(rèn)知產(chǎn)生幫助。在傳統(tǒng)的機(jī)器學(xué)習(xí)領(lǐng)域，關(guān)注度機(jī)制被廣泛應(yīng)用于adaboost[2]一類算法中。其將關(guān)注度機(jī)制應(yīng)用于實(shí)例上，首先將關(guān)注度集中在容易分類的實(shí)例上，接下來逐步將關(guān)注度集中在難以分類的實(shí)例上。自2012年以來，深度學(xué)習(xí)極大地推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域的發(fā)展。其在大規(guī)模的圖像數(shù)據(jù)集上訓(xùn)練得到的分類模型具有很好的可遷移性

5、，在新的任務(wù)上表現(xiàn)出很好的泛化能力。這使得大規(guī)模的圖像數(shù)據(jù)的理解分析成為了可能。在此基礎(chǔ)上，我們將關(guān)注度機(jī)制應(yīng)用于網(wǎng)絡(luò)中可以幫助網(wǎng)絡(luò)更好認(rèn)知事物。
　　在本文中，我們將利用關(guān)注度機(jī)制對(duì)圖像進(jìn)行進(jìn)一步的分析理解。針對(duì)用戶圖像，我們逐一對(duì)其設(shè)計(jì)模型。
　　對(duì)于獨(dú)立個(gè)體圖像而言，日常生活中的圖像通常包含多個(gè)主體，且主體所占空間大小不一。其分類問題是一個(gè)多標(biāo)簽分類問題，而不是傳統(tǒng)的單標(biāo)簽分類問題。我們利用關(guān)注度機(jī)制找到主體所在區(qū)域，

6、利用這些區(qū)域更好地提取相關(guān)特征并挖掘主體之間的空間關(guān)聯(lián)性，最終完成分類任務(wù)。
　　對(duì)于事件內(nèi)容的圖像，我們通常對(duì)一個(gè)相冊(cè)進(jìn)行事件認(rèn)知。然而由于用戶存在迥然不同的拍照習(xí)慣，往往一個(gè)相冊(cè)的事件不能通過其內(nèi)一張圖像所能展示，并且一個(gè)相冊(cè)內(nèi)的圖像也往往不都于這個(gè)相冊(cè)有關(guān)。我們利用關(guān)注度機(jī)制學(xué)習(xí)圖像重要性，使于相冊(cè)事件相關(guān)的圖像有更高的認(rèn)知權(quán)重，并利用多種視覺特征以及圖像時(shí)間特征綜合分析得出最終預(yù)測結(jié)果。
　　對(duì)于某一類特定物體的相冊(cè)