視聽覺情感語義相干及應(yīng)用研究.pdf

1、視聽觸等感覺通道是人類從外界獲取信息的主要途徑，它們對人類學習、記憶起著極其重要的作用，且各自分工、相互合作地實現(xiàn)人類信息的獲取。與視覺、聽覺相關(guān)的圖像、音樂中蘊含著豐富的情感語義，如何提取、表示以及在多種語義信息相干下如何影響人類認知是當前計算機領(lǐng)域的前沿問題。本文以探索何種情況下情感語義相二F能有效促進或增強人類記憶效果為切入點展開研究，內(nèi)容涉及心理學、認知科學、音樂及圖像處理等學科的相關(guān)知識。本文針對視聽覺情感語義、情感語義相干以

2、及它們對認知記憶的影響與應(yīng)用等方面進行了如下探索：
　　 ⑴建立了情感語義表示模型，探索了情感語義相關(guān)機理。在研究情感語義的基礎(chǔ)上，通過形容詞辨識實驗建立描述情感語義的語言值集，借助自然語言處理中的語言值計算模型及模糊語義相似關(guān)系建立了情感語義表示模型；通過語義認知實驗獲得情感空間和情感矩陣的具體形式，定義語言值系統(tǒng)的語法與推理機制來研究情感語義的相干，并通過情感語義相干性實驗證明此模型符合情感語義認知的心理模式，具有廣泛的適用

3、性。
　　 ⑵基于特征融合建立了視覺情感語義提取算法。通過提取圖像的顏色、紋理和形狀特征，提出一種加權(quán)特征融合算法以更好地表達情感語義，并在圖像情感語義識別映射過程中，用同一種映射算法跟單獨特征的映射進行比較，證明加權(quán)特征融合算法的有效性。
　　 ⑶基于SVM建立了聽覺情感語義識別算法。對音樂特征的提取，采用易于解析的MIDI文件，提出一系列高層特征提取算法：基于音程統(tǒng)計法和SVM算法來定位主音軌，基于音調(diào)無關(guān)編碼方式和

4、字符比對的二列比較法提取主旋律。對音樂情感語義的映射，提出一種基于改進PSO算法的SVM選擇性集成學習算法，通過對SVM和SVM集成學習算法比較、SVM集成學習算法和BP神經(jīng)網(wǎng)絡(luò)算法的比較，證明本算法可以有效的應(yīng)用于音樂情感語義的識別中。
　　 ⑷結(jié)合實際應(yīng)用場景，探索了視聽覺情感語義相關(guān)對認知記憶效果影響的機理。通過認知心理學實驗研究不同視聽覺情感語義相干對認知記憶效果的影響規(guī)律，并將其應(yīng)用于煤礦救護游戲式培訓(xùn)系統(tǒng)中，以促進和