圖像情感感知的計(jì)算與應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)科學(xué)、多媒體技術(shù)以及社交網(wǎng)絡(luò)的迅速發(fā)展，圖像、視頻等多媒體內(nèi)容的規(guī)模呈指數(shù)式爆炸增長(zhǎng)，處理和理解這些多媒體內(nèi)容的需求日益增強(qiáng)。相對(duì)于底層視覺特征層，人們只能夠感知和理解圖像、視頻的高層語義層，包括認(rèn)知層和情感層。以往對(duì)圖像內(nèi)容分析的工作主要集中在理解圖像的認(rèn)知層，即描述圖像的真實(shí)內(nèi)容，如物體檢測(cè)與識(shí)別。然而，公眾對(duì)數(shù)字?jǐn)z影技術(shù)的廣泛使用及對(duì)圖像情感表達(dá)的強(qiáng)烈需求，使得對(duì)圖像最高語義層一情感層的分析變得越來越迫切。
　　對(duì)

2、圖像情感層的分析，簡(jiǎn)稱圖像情感計(jì)算，主要目的是理解觀察者看完圖像后所引起的情感反應(yīng)。圖像情感計(jì)算的發(fā)展主要受到兩大挑戰(zhàn)的制約：一個(gè)是情感鴻溝，即“可度量的信號(hào)屬性即特征與人感知該信號(hào)所期望產(chǎn)生的情感之間的不一致性”另一個(gè)是人類情感感知與評(píng)估的主觀性，即“由于文化背景、教育程度、社交上下文等多種因素的影響，不同觀察者對(duì)同一幅圖像的情感感知是主觀的、不同的”。本文針對(duì)圖像情感計(jì)算中的上述問題進(jìn)行研究，基于藝術(shù)學(xué)相關(guān)理論，期望提取更具有判別力

3、更容易理解的情感特征；利用社交媒體數(shù)據(jù)進(jìn)行以用戶為中心的個(gè)性化情感預(yù)測(cè)，探索社交媒體中影響情感感知的因素；對(duì)圖像情感的分布進(jìn)行建模，預(yù)測(cè)一幅圖像在多位觀察者中所誘發(fā)情感的分布情況；研究圖像情感在計(jì)算機(jī)視覺、多媒體技術(shù)等領(lǐng)域的應(yīng)用。具體地，本文的研究?jī)?nèi)容和主要貢獻(xiàn)分為以下四個(gè)方面：
　　首先，根據(jù)藝術(shù)理論的相關(guān)研究，本文提出了一種基于藝術(shù)原理的中層圖像情感特征，對(duì)以圖像為中心的大眾化情感進(jìn)行預(yù)測(cè)。藝術(shù)理論由藝術(shù)元素和藝術(shù)原理組成：藝

4、術(shù)元素是構(gòu)成藝術(shù)作品的基本元素，包括顏色、紋理等；藝術(shù)原理是用來對(duì)藝術(shù)元素進(jìn)行組織與排列的規(guī)則和工具，包括平衡、強(qiáng)調(diào)等?，F(xiàn)有的工作主要提取基于藝術(shù)元素的底層特征對(duì)圖像的情感進(jìn)行識(shí)別。這些特征容易受到組織規(guī)則的影響，并且它們與情感之間的關(guān)系很微弱。因此，藝術(shù)元素必須通過藝術(shù)原理組織排列成有意義的區(qū)域與圖像，來表達(dá)特定的語義與情感。本文系統(tǒng)地學(xué)習(xí)、表示并實(shí)現(xiàn)了基于藝術(shù)原理的特征，將量化后的藝術(shù)原理串聯(lián)成情感特征，用來對(duì)圖像情感進(jìn)行分類與回歸

5、。在IAPS, Abstract,ArtPhoto三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了藝術(shù)原理特征的有效性。
　　其次，感預(yù)測(cè)方法利用社交媒體上的數(shù)據(jù)，本文提出了一種以用戶為中心的個(gè)性化清，首次對(duì)圖像情感感知的主觀性進(jìn)行評(píng)價(jià)?，F(xiàn)有的圖像情感數(shù)據(jù)集都是以圖像為中心的，以預(yù)測(cè)圖像情感的大眾化情感為目的，并且圖像數(shù)量很少，不能用于個(gè)性化的情感分析。本文構(gòu)造了一個(gè)基于Flickr的個(gè)性化圖像情感感知的大規(guī)模數(shù)據(jù)集，命名為Image-Emotion-S

6、ocial-Net (ISSN)，包含100多萬張圖像和大約8000個(gè)用戶。社交網(wǎng)絡(luò)中多種因素可以影響個(gè)性化的情感感知:視覺內(nèi)容、社交上下文、時(shí)間演變、地理位置等。本文提出了迭代多任務(wù)超圖學(xué)習(xí)方法對(duì)這些因素進(jìn)行聯(lián)合建模，并且設(shè)計(jì)了一個(gè)學(xué)習(xí)算法，實(shí)現(xiàn)自動(dòng)優(yōu)化。實(shí)驗(yàn)結(jié)果表明，綜合考慮多種因素可以有效地提高個(gè)性化清感預(yù)測(cè)的準(zhǔn)確率。
　　再次，本文提出了一種以圖像為中心的對(duì)圖像情感的概率分布進(jìn)行預(yù)測(cè)的方法，從新的角度對(duì)圖像情感進(jìn)行建模。在

7、Ab stract以及ISSN數(shù)據(jù)集上的統(tǒng)計(jì)發(fā)現(xiàn)，盡管圖像情感感知呈現(xiàn)出個(gè)性化的特點(diǎn)，但整體上也服從一定的分布?；谶@一觀察，本文提出了基于共享稀疏學(xué)習(xí)的方法對(duì)圖像情感的概率分布進(jìn)行預(yù)測(cè)，并且使用迭代重加權(quán)最小二乘進(jìn)行優(yōu)化。對(duì)應(yīng)于離散情感和維度情感兩種表示方法，本文對(duì)圖像情感的離散概率分布和連續(xù)概率分布都進(jìn)行了處理。此外，本文介紹了多種baseline算法。實(shí)驗(yàn)結(jié)果表明，共享稀疏學(xué)習(xí)取得了最優(yōu)的性能。
　　最后，本文實(shí)現(xiàn)了圖像情感

8、在計(jì)算機(jī)視覺與多媒體技術(shù)領(lǐng)域的多個(gè)應(yīng)用。一個(gè)是基于多圖學(xué)習(xí)的情感圖像檢索，與傳統(tǒng)的基于內(nèi)容的圖像檢索不同，本文使用多圖學(xué)習(xí)的方法從情感的角度對(duì)圖像進(jìn)行檢索，并且在3D物體檢索上進(jìn)行了擴(kuò)充;一個(gè)是基于觀察者情感分析的視頻分類與推薦，提出了使用觀察者觀看視頻時(shí)表情的變化來對(duì)視頻進(jìn)行分析;一個(gè)是基于情感的圖像配樂，為輸入圖像配置表達(dá)相似情感的音樂，這可以使圖像更加生動(dòng)，并且?guī)ьI(lǐng)用戶進(jìn)入圖像想要表達(dá)的世界。
　　通過上述研究，本文對(duì)圖像情