多模態(tài)信息處理研究進(jìn)展、現(xiàn)狀及趨勢(shì)

1、多模態(tài)信息處理研究進(jìn)展、現(xiàn)狀及趨勢(shì)任務(wù)定義、目標(biāo)和研究意義多模態(tài)（multimodality)的概念起源于計(jì)算機(jī)人機(jī)交互領(lǐng)域信息表示方式的 研究，其中術(shù)語(yǔ)“模態(tài)” 一詞被定義為在特定物理媒介上信息的表示方式。在研 究中人們發(fā)現(xiàn)，用語(yǔ)言、視頻、音頻等媒體指稱來(lái)描述信息表示方式過(guò)于寬泛、 粒度太大，不足以區(qū)分實(shí)際采用的表示方式，為此引入了比媒體（或媒介）更細(xì) 粒度的“模態(tài)”概念。而多媒體媒介可以分解為多個(gè)單模態(tài)，如視頻作為一種多 媒體媒介

2、，可以分解為動(dòng)態(tài)圖像、動(dòng)態(tài)語(yǔ)音、動(dòng)態(tài)文本等多個(gè)單模態(tài)。為了模態(tài) 概念定義的科學(xué)性和實(shí)用性，單模態(tài)的分類必須滿足完整性、正交性、關(guān)聯(lián)性和 直觀性的要求。在同一事物上多類單模態(tài)信息共生或共現(xiàn)的現(xiàn)象是十分普遍的。 人與人交談時(shí)有聲語(yǔ)音與文字文本是共生的；互聯(lián)網(wǎng)網(wǎng)頁(yè)中圖片與其對(duì)應(yīng)的解說(shuō) 文字是共現(xiàn)的，凡此等等。共生或共現(xiàn)的多種單模態(tài)信息的統(tǒng)稱即所謂的多模態(tài) 信息。融合多種單模態(tài)的信息處理即所謂的多模態(tài)信息處理，其中涉及對(duì)多模態(tài) 信息的獲取、組織

3、、分析、檢索、理解、創(chuàng)建等。多模態(tài)信息處理技術(shù)主要應(yīng)用于對(duì)象識(shí)別、信息檢索、人機(jī)對(duì)話等與智能系 統(tǒng)及人工智能相關(guān)的領(lǐng)域。大量研究成果顯示，基于多模態(tài)理念的信息處理算法 和方法，往往會(huì)得到比傳統(tǒng)方法更好的性能和效果。例如，語(yǔ)義計(jì)算相關(guān)領(lǐng)域基 于指稱語(yǔ)義的研究發(fā)現(xiàn)，采用語(yǔ)言表達(dá)式的視覺(jué)指稱（即一組圖片）來(lái)定義指稱 相似性度量，在某些語(yǔ)義推導(dǎo)任務(wù)中，效果好于基于純文本的分布式語(yǔ)義表示； 情感計(jì)算領(lǐng)域相關(guān)研究發(fā)現(xiàn)，不同模態(tài)的數(shù)據(jù)在情感表達(dá)中具有

4、互補(bǔ)性，在愉悅 度表達(dá)方面文本模態(tài)優(yōu)于音頻模態(tài)，而在激活度表達(dá)方面音頻模態(tài)則優(yōu)于文本模 態(tài)。在基于內(nèi)容的多媒體信息檢索領(lǐng)域，針對(duì)基于內(nèi)容的視音頻檢索中的語(yǔ)義鴻 溝問(wèn)題，利用視音頻數(shù)據(jù)共生或共現(xiàn)的文本信息，進(jìn)行多模態(tài)的語(yǔ)義分析和相似 性度量，是克服語(yǔ)義鴻溝問(wèn)題的一種十分有效的方法。以媒體為單位的跨信息處 理任務(wù)，普遍存在語(yǔ)義鴻溝問(wèn)題，所處理信息對(duì)象的語(yǔ)義，無(wú)論是基于外延語(yǔ)義 (指稱語(yǔ)義）還是內(nèi)涵語(yǔ)義（關(guān)聯(lián)語(yǔ)義）概念，在單一媒體信息范圍內(nèi)得

5、不到完 整或最終表達(dá)，而多模態(tài)信息處理方法為該問(wèn)題的解決提供了新的思路和方法。6 b. 口 語(yǔ) 關(guān) 鍵 字6 c. 口 語(yǔ) 符 號(hào)7 靜 — 動(dòng) 態(tài) 非 擬 真 觸 覺(jué) 7 a. 觸 覺(jué) 文 本7 b. 觸 覺(jué) 關(guān) 鍵 字7 c. 觸 覺(jué) 符 號(hào)8 動(dòng) 態(tài) 非 擬 真 圖 形 8 a. 動(dòng) 態(tài) 書(shū) 面 文 本8 b. 動(dòng) 態(tài) 書(shū) 面 關(guān) 鍵 字8 c. 動(dòng) 態(tài) 書(shū) 面 符 號(hào)8 d. 靜 動(dòng) 口 語(yǔ) 話 語(yǔ)8 e. 靜 動(dòng) 口 語(yǔ)

6、關(guān) 鍵 字8 f. 靜 動(dòng) 口 語(yǔ) 符 號(hào)9 . 靜 態(tài) 圖 形 9 a. 圖 像9 b. 地 圖9 c. 組 合 圖 表9 d. 圖 形9 e. 概 念 圖 表1 0 . 靜 二 動(dòng) 態(tài) 聲 音 1 0 a. 圖 像1 0 b. 地 圖1 0 c. 組 合 圖 表1 0 d. 圖 形1 0 e. 概 念 圖 表1 1 . 靜 = 動(dòng) 態(tài) 觸 覺(jué) 1 1 a. 圖 像1 1 b. 地 圖1 1 c. 組 合 圖 表1 1 d. 圖 形1