圖像視覺特征與情感語義映射方法的研究.pdf

1、隨著人機交互系統(tǒng)的快速發(fā)展，視覺特征中的情感信息近年來正越來越受到人們的重視，特別是在特征提取和圖像分類等領域。而目前的圖像處理和應用大多忽略了情感的影響和作用。有效地挖掘圖像與情感之間的映射規(guī)則，是情感計算在圖像處理方面的探索，是一個嶄新的且有很大挑戰(zhàn)性前沿課題。 從信號處理的觀點來看，圖像本身不僅包括了視覺特征，還包括了文字信息和情感信息。情感可被分為兩類:主要(原始)情感和次要(派生)情感。主要或原始情感包括害怕、憤怒、高

2、興、悲傷和厭惡，是所有社會化的哺乳動物共有的，有其特殊的表現(xiàn)形式。次要或派生情感包括自豪、感激、悲痛、親切和驚奇，是主要情感的變化或組合形式，其中一些是人類特有的。 圖像中的可視化特征(顏色、紋理和形狀)在基于內(nèi)容的圖像檢索中扮演著重要的角色，將圖像進行情感的標注能夠?qū)椭C的人一機交互、裝潢和基于情感計算等工程作出相應的貢獻，但情感有很大的主觀性，不同的圖像或圖像中的不同顏色、紋理、輪廓等會給人不同的感受，而不同的人對同一幅圖像

3、也會產(chǎn)生不同的情感感受，這樣很難在客觀上給一幅圖像定位為某種情感。 傳統(tǒng)的分類模型針對預先設定的標簽進行分類，然而現(xiàn)實世界的情感豐富多彩，主觀性和模糊性較強，各個情感之間界限模糊，無法實現(xiàn)清晰分類。有鑒于此，本文基于“先聚后分”的基本思想，首先對圖像視覺特征進行聚類，利用聚類模型對視覺特征進行情感標注，生成情感標簽，然后對已標注的視覺情感特征進行分類實驗，實現(xiàn)情感分類，完成視覺特征到情感語義的映射。著重做了以下幾個方面的工作:

4、 首先，從大量的實驗、研究和參考文獻中積累出情感與圖像中的對應關(guān)系，研究了顏色、紋理和形狀等目前常用的視覺特征在情感識別中的作用，分析了MPEG-7描述子并且通過基于自組織映射網(wǎng)絡的特征有效性研究方法，進行了有效特征的篩選； 第二，綜合經(jīng)典情感空間分類方法，提出一個情感空間表示法量化情感，達到情感數(shù)字化以實現(xiàn)可計算； 第三，應用自組織映射網(wǎng)絡建立了初步的視覺特征情感識別模型，利用自組織映射網(wǎng)絡對圖像情感進行聚類和仿