基于視覺信息的漢語詞匯語義習(xí)得.pdf

1、認(rèn)知科學(xué)的研究表明，人類在語言習(xí)得過程中，視覺信息具有重要的輔助作用。探索利用視覺信息輔助進(jìn)行語言計(jì)算，有助于更深刻地理解人類語言處理的機(jī)制，為自然語言處理研究提供新的材料和思路，同時(shí)在圖文轉(zhuǎn)換、視頻檢索等方面有廣闊的應(yīng)用前景。
　　 本文構(gòu)建了一個(gè)基于視覺信息的漢語詞匯語義習(xí)得模型ViMac（Visual Information based Meaning Acquisition of Chinese Words）。該模型由三

2、個(gè)模塊組成，分別是詞的聚類、特征選擇和詞的語義建模。詞的聚類完成詞匯按照所屬語義范疇的劃分，特征選擇完成詞匯與圖像底層特征的對應(yīng)，詞的語義建模完成詞匯語義的圖像特征的表示。通過這三個(gè)部分得到漢語詞匯的語義模型。實(shí)驗(yàn)表明，該模型具備較為初級的學(xué)習(xí)能力，能夠?qū)W習(xí)與視覺相關(guān)的五個(gè)范疇的詞，分別是顏色、形狀、大小、方位和修飾顏色副詞。
　　 進(jìn)一步，本文將習(xí)得的漢語詞匯的語義模型應(yīng)用到圖像描述系統(tǒng)ViMacs（ViMac Applica

3、tion System）中，用于對簡單圖像自動生成文本描述。實(shí)驗(yàn)表明，本系統(tǒng)具備一定的圖像描述能力，這是基于符號的詞匯表示方法所不具備的。
　　 另外，本文借鑒機(jī)器翻譯的評測方案，提出了對圖像描述系統(tǒng)的評測方案。該方案能夠有效的反映機(jī)器自動標(biāo)注與人工的標(biāo)注的一致性。
　　 最后，本文利用上述評測方案，對ViMacs系統(tǒng)的性能及ViMac模型關(guān)鍵模塊對ViMacs系統(tǒng)性能的影響進(jìn)行了詳盡的評測。根據(jù)評測結(jié)果，提出了對系統(tǒng)性