基于深度學(xué)習(xí)和上下文語義的視覺內(nèi)容識(shí)別與分析研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速進(jìn)步以及深度學(xué)習(xí)展現(xiàn)出強(qiáng)大的性能，基于圖像和視頻的各種應(yīng)用也得到了前所未有的發(fā)展。然而，伴隨著這些應(yīng)用給日常生活帶來便利的同時(shí)，也給社會(huì)帶來了許多潛在的負(fù)面影響。因此，如何高效、準(zhǔn)確地從這些紛繁復(fù)雜的海量數(shù)據(jù)中甄別出有用的信息和過濾有害的信息，已經(jīng)是大數(shù)據(jù)環(huán)境下亟待解決的問題。隨著深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)視覺任務(wù)的應(yīng)用領(lǐng)域也得到了空前的擴(kuò)展，包括：圖像分類、目標(biāo)識(shí)別、目標(biāo)檢測、圖像分割、對(duì)象跟蹤等。
　　本文將在

2、深度學(xué)習(xí)的框架下，以四個(gè)計(jì)算機(jī)視覺的典型應(yīng)用為基礎(chǔ)，通過結(jié)合多種不同的上下文關(guān)系，開展面向大數(shù)據(jù)的視覺內(nèi)容的識(shí)別與分析研究。這四個(gè)任務(wù)分別是：成人內(nèi)容識(shí)別、特定圖像檢索、自然場景解析和人像妝容遷移。
　　首先，針對(duì)成人內(nèi)容識(shí)別任務(wù)中類別空間稀少和正負(fù)樣本空間內(nèi)樣本多樣化導(dǎo)致的分類難的問題，提出基于高層語義的細(xì)到粗策略和基于多上下文混合建模的聯(lián)合決策方案。傳統(tǒng)成人內(nèi)容識(shí)別通常都是二分類問題（“是成人”或“不是成人”），而復(fù)雜的樣本會(huì)

3、導(dǎo)致部分樣本類內(nèi)距大于類間距，增大分類器訓(xùn)練的困難。本文提出的細(xì)到粗策略，通過在訓(xùn)練中細(xì)化類別來改善分類器的性能。此外，通過全局上下文、局部上下文和跨上下文等多種上下文建模方式，從不同的角度去理解樣本，最大限度地解決樣本多樣化問題。與傳統(tǒng)特征融合方式不同，策略融合并不直接融合特征，它在最大限度保證基于分類的全局上下文準(zhǔn)確性的同時(shí)，利用基于檢測的局部上下文信息生成置信度較高的決策來盡力修正被誤判的樣本，從而實(shí)現(xiàn)召回率和準(zhǔn)確率的同時(shí)提高。此

4、外，模塊化的設(shè)計(jì)方案，允許通過更新全局上下文建?；蚓植可舷挛慕?shí)現(xiàn)整個(gè)網(wǎng)絡(luò)性能的提升。
　　其次，針對(duì)場景解析任務(wù)中對(duì)象尺度較小、交互性多（遮擋）、隱藏性強(qiáng)（易湮沒于復(fù)雜的背景中）等特性帶來的對(duì)象識(shí)別困難的問題，提出一種基于深度學(xué)習(xí)的對(duì)象區(qū)域增強(qiáng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)集成了針對(duì)任務(wù)設(shè)計(jì)的兩個(gè)核心模塊：對(duì)象區(qū)域增強(qiáng)策略和黑洞填充策略。前者將檢測到的語義置信度較高的對(duì)象區(qū)域直接對(duì)應(yīng)到卷積特征圖的特定類別通道上的局部區(qū)域，并通過加權(quán)特征來改進(jìn)上

5、下文關(guān)系，完成對(duì)困難對(duì)象區(qū)域的識(shí)別；后者通過屏蔽額外背景類來避免解析網(wǎng)絡(luò)將部分困難區(qū)域判定為額外背景類的錯(cuò)誤。此外，模塊化的設(shè)計(jì)方案使模型不但可以通過更換模塊實(shí)現(xiàn)整體解析性能的提升，還可以將兩個(gè)策略應(yīng)用到其他現(xiàn)有的場景解析網(wǎng)絡(luò)中。
　　然后，針對(duì)以人臉解析為基礎(chǔ)的典型應(yīng)用—妝容遷移中的兩個(gè)難點(diǎn)問題：（1）如何獲得精確的人臉解析結(jié)果；（2）如何按需保持（如：臉型、五官）和遷移（如：唇彩、眼影）人像的特征，提出了對(duì)稱加權(quán)交叉熵?fù)p失和深

6、度局部妝容遷移網(wǎng)絡(luò)。前者對(duì)特定的局部上下文區(qū)域進(jìn)行加權(quán)，并強(qiáng)制對(duì)眼影、嘴唇等特殊區(qū)域進(jìn)行對(duì)稱性約束；后者利用不同類型的特征分別描述形狀敏感和紋理敏感兩種局部區(qū)域，最后通過迭代算法逐漸將局部妝容特征從參考人像遷移到未化妝的人像上。端到端的生成網(wǎng)絡(luò)，不但可以產(chǎn)生自然的妝容遷移效果，還可以實(shí)現(xiàn)妝容濃淡程度的自由調(diào)節(jié)，這使得該系統(tǒng)的可用性大大增強(qiáng)。
　　最后，針對(duì)大數(shù)據(jù)環(huán)境下圖像檢索效率和性能的問題，提出一種基于深度學(xué)習(xí)的層次化深度語義哈

7、希方案。該網(wǎng)絡(luò)可以端到端地同時(shí)輸出樣本的高層語義和哈希編碼。通過基于概率的語義級(jí)相似性和哈希級(jí)相似性的融合相似性計(jì)算方案，首先利用幾乎零開銷的高層語義信息過濾大量語義不相關(guān)的樣本，然后再利用哈希編碼在小很多的候選建議集中完成相似性檢索。該方案在百萬級(jí)的Imagenet數(shù)據(jù)集上，可以保證在檢索性能不降低的前提下，實(shí)現(xiàn)大約150倍的速度提升。
　　綜上所述，本文所研究的多種上下文語義融合策略，不但在計(jì)算機(jī)視覺的理論層面具有一定的參考價(jià)