基于遷移學(xué)習(xí)與深度卷積特征的圖像標(biāo)注方法研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，越來(lái)越多的圖像信息被以數(shù)字方式存儲(chǔ)到互聯(lián)網(wǎng)上，圖像已經(jīng)成為文本之后又一個(gè)重要的網(wǎng)絡(luò)信息載體。目前每天上傳到網(wǎng)絡(luò)上的圖片數(shù)以億計(jì)，面對(duì)如此海量的圖像大數(shù)據(jù)，如何快速而準(zhǔn)確的檢索出所需要的圖像資源是一個(gè)十分重要并且極具現(xiàn)實(shí)意義的研究課題。
　　圖像語(yǔ)義自動(dòng)標(biāo)注是基于文本的圖像檢索技術(shù)的核心研究?jī)?nèi)容，其本質(zhì)是利用已標(biāo)注的圖像集自動(dòng)學(xué)習(xí)語(yǔ)義概念空間與視覺特征空間的映射關(guān)系模型，并用此模型標(biāo)注新圖像。針對(duì)傳統(tǒng)人

2、工設(shè)計(jì)的視覺特征的局限性，以近年來(lái)深度卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域所取得的成果為基礎(chǔ)，并在互聯(lián)網(wǎng)圖像大數(shù)據(jù)的驅(qū)動(dòng)下，本文主要圍繞深度卷積神經(jīng)網(wǎng)絡(luò)的特征自學(xué)習(xí)能力如何在圖像標(biāo)注中被有效利用展開研究，重點(diǎn)關(guān)注深度卷積特征在圖像單標(biāo)簽標(biāo)注、多標(biāo)簽標(biāo)注和多特征融合標(biāo)注三方面的內(nèi)容，主要工作概括如下:
　　(1)針對(duì)特定應(yīng)用領(lǐng)域數(shù)據(jù)集已標(biāo)注圖像樣本數(shù)量不足的問題，利用相關(guān)領(lǐng)域的圖像大數(shù)據(jù)集，提出了基于遷移學(xué)習(xí)的深度卷積特征學(xué)習(xí)方法。該方法主要

3、針對(duì)規(guī)模不大，樣本數(shù)量有限的特定領(lǐng)域數(shù)據(jù)集使用深度卷積神經(jīng)網(wǎng)絡(luò)時(shí)容易產(chǎn)生過(guò)擬合而導(dǎo)致無(wú)法訓(xùn)練與學(xué)習(xí)的問題;通過(guò)遷移學(xué)習(xí)的方法，首先利用互聯(lián)網(wǎng)上的大型公共圖像數(shù)據(jù)集對(duì)深度網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以學(xué)習(xí)圖像的底層通用視覺特征;然后利用目標(biāo)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，進(jìn)而學(xué)習(xí)圖像的中高級(jí)視覺特征;最終的實(shí)驗(yàn)結(jié)果表明該方法使小規(guī)模圖像數(shù)據(jù)集使用深度學(xué)習(xí)的方法成為可能，并且有效的提升了圖像的分類與標(biāo)注性能。
　　(2)針對(duì)圖像數(shù)據(jù)集中相似度較高的類別

4、之間容易產(chǎn)生樣本誤分類的問題，基于遷移學(xué)習(xí)與精細(xì)分類的思想，提出了兩級(jí)層次特征學(xué)習(xí)的圖像分類與標(biāo)注方法。通過(guò)對(duì)預(yù)分類實(shí)驗(yàn)數(shù)據(jù)的分析，實(shí)驗(yàn)表明大部分標(biāo)注錯(cuò)誤的樣本都產(chǎn)生在相似度較高的圖像類別之間;為了能夠盡量減少相似樣本的誤分類數(shù)量，本文首先根據(jù)通用特征將具有較高相似度的圖像類別劃分到同一個(gè)子集;然后利用深度卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，提取相似度較高的圖像類別之間的差異特征;最后整合通用特征與差異特征，進(jìn)而提出了基于兩級(jí)層次特征學(xué)習(xí)的圖像

5、標(biāo)注方法，有效的提高了圖像的標(biāo)注精度。
　　(3)針對(duì)多標(biāo)簽圖像全局特征提取困難與表示能力不足的問題，通過(guò)修改網(wǎng)絡(luò)的損失函數(shù)，提出了基于深度卷積特征的多標(biāo)簽圖像排序方法。為了將深度卷積神經(jīng)網(wǎng)絡(luò)的特征自學(xué)習(xí)能力擴(kuò)展到多標(biāo)簽圖像標(biāo)注任務(wù)中，本文修改了用于單標(biāo)簽分類的網(wǎng)絡(luò)模型的損失函數(shù)，采用多項(xiàng)邏輯斯特?fù)p失以適應(yīng)多標(biāo)簽圖像數(shù)據(jù)，并重新訓(xùn)練了網(wǎng)絡(luò);最后提取到更具有全局特征表示能力的深度卷積特征，并基于該特征對(duì)圖像多標(biāo)簽進(jìn)行排序，從而更完整

6、的標(biāo)注了圖像的語(yǔ)義信息。
　　(4)針對(duì)圖像大數(shù)據(jù)背景下，如何充分利用多源異構(gòu)圖像特征的問題，提出了基于多核學(xué)習(xí)的多特征融合圖像標(biāo)注方法。大數(shù)據(jù)時(shí)代的圖像資源除了圖像本身以外，通常還可以獲取與圖像相關(guān)的拍攝時(shí)間、位置、經(jīng)緯度、高度、周邊環(huán)境等信息;針對(duì)圖像的語(yǔ)義標(biāo)注任務(wù)，本文將與圖像相關(guān)的描述性信息也轉(zhuǎn)化為圖像的基本特征之一，并與深度卷積特征相融合，提出了基于多核學(xué)習(xí)的多特征融合圖像標(biāo)注方法，實(shí)驗(yàn)結(jié)果表明該方法能夠更充分和準(zhǔn)確的反