基于情感語義的圖像特征提取、檢索與分類研究.pdf

1、人對圖像的感知和理解是在語義層次上的，且具有主觀性。已有研究顯示，不同的圖像可以喚起人類不同的情感。圖像情感語義研究的目的是希望計算機能夠描述和表達人觀察圖像所引起的情感反應(yīng)，使用帶有主觀感情色彩的語義表述和索引圖像，其結(jié)果可用于圖像的情感評估、圖像檢索、美術(shù)和廣告設(shè)計等方面。該研究涉及到認知科學(xué)、心理學(xué)、生理學(xué)、圖像處理、模式識別與人工智能等眾多學(xué)科領(lǐng)域，是一個嶄新的且有很大挑戰(zhàn)性的前沿課題?！　”疚尼槍D像的情感語義問題，針對圖像

2、視覺特征、中間層語義和高層情感語義之間的語義鴻溝，提出了圖像情感類查詢的三層框架。以圖像色彩為代表，實現(xiàn)了高層情感語義類的檢索?！　”疚奶岢隽嘶谏室恢滦缘牟噬珗D像分割方法。通過去除干擾性的圖像邊緣，在色彩空間，采用引入色差判斷的改進K均值聚類算法進行圖像色彩分割，分割方法簡單有效。　　本文設(shè)計了一種圖像語義的描述方法。以圖像色彩為代表，根據(jù)人類色彩感知的心理模型，通過非監(jiān)督模糊聚類的方法分別計算出亮度、飽和度和色彩對比度的語義模

3、糊隸屬函數(shù)，并根據(jù)已有的色彩研究的成果構(gòu)造了色調(diào)語義的模糊隸屬函數(shù)，根據(jù)這些語義隸屬函數(shù)，使用符合人類感知和描述習(xí)慣的自然語言來描述圖像，填補了圖像特征到圖像語義之間的語義鴻溝?！　”疚耐ㄟ^定義查詢語言，實現(xiàn)了情感語義類的查詢。由查詢語言，可以將中間層圖像語義進行有效的組織，并融入已有的圖像色彩情感效應(yīng)的知識和經(jīng)驗，以描述高層次的情感語義，實現(xiàn)了簡單情感語義類的查詢。該圖像情感語義描述框架支持對其它圖像特征的進一步擴展。　　在圖像情

4、感主觀調(diào)查和統(tǒng)計分析的基礎(chǔ)上，通過機器學(xué)習(xí)建立起圖像視覺特征到圖像情感的映射，構(gòu)造了圖像情感檢索系統(tǒng)，可以實現(xiàn)以情感相似性為度量的圖像樣圖檢索，和基于情感形容詞的圖像語義檢索?！　”疚倪M行了深入的圖像情感主觀調(diào)查，在調(diào)查結(jié)果的統(tǒng)計學(xué)分析的基礎(chǔ)上，用情感形容詞描述和量化圖像情感語義，并構(gòu)建圖像情感因子空間。在實驗心理學(xué)方法的指導(dǎo)下，采用語義差異法，在廣泛收集測試圖像和情感語義詞匯后，精心設(shè)計圖像情感主觀調(diào)查問卷，完成圖像情感主觀評估，實

5、現(xiàn)了圖像情感語義的描述和量化；使用統(tǒng)計學(xué)方法對調(diào)查結(jié)果進行詳細分析，總結(jié)得到較為穩(wěn)定且具有較強共性的13對情感語義，對它們進行因子分析，消除情感形容詞之間的相關(guān)性和冗余，構(gòu)建出3維的圖像情感因子空間?！　”疚囊郧楦蟹治鰹槟康模瑯?gòu)造圖像視覺特征，通過機器學(xué)習(xí)實現(xiàn)了圖像情感因子值自動估計。詳細分析三個圖像情感因子與圖像特征之間的聯(lián)系，針對每個情感因子，分別設(shè)計了三種圖像視覺特征(亮度－冷暖模糊直方圖、飽和度－冷暖模糊直方圖+色彩對比度值的

6、綜合特征、亮度對比度+邊緣銳度綜合特征)，采用支持向量回歸機(SVR)訓(xùn)練的方法，對每個因子值進行估計，完成了圖像情感因子空間自動估算，估算結(jié)果與主觀評估結(jié)果之間保持了較大的相關(guān)性?！　”疚臉?gòu)造了圖像情感檢索系統(tǒng)，可以實現(xiàn)以情感相似性為度量的圖像樣圖檢索，和基于情感形容詞的圖像語義檢索。通過定義情感因子空間上的相似性度量，系統(tǒng)根據(jù)用戶提供的樣圖，在圖像庫中按照情感相似性進行檢索，輸出與樣圖情感感覺上一致的圖像；在情感因子值的基礎(chǔ)上，通

7、過因子載荷矩陣，完成圖像情感形容詞的自動估算，實現(xiàn)基于情感形容詞的圖像檢索，系統(tǒng)根據(jù)用戶提交的情感形容詞，按情感形容訶值進行排序，輸出符合該種情感的圖像；以上檢索均取得了令用戶滿意的結(jié)果。　　本文以“靜感－動感”為代表，實現(xiàn)了圖像情感語義的分類。深入研究圖像線條與圖像情感之間的聯(lián)系，我們定義了基于小波變換邊緣的帶權(quán)線條方向長度向量(Weightedlinedirection-lengthvectorWLDLV)作為圖像特征，該特征能同