圖像視覺特征及其描述詞匯的對齊研究.pdf

1、目前，越來越多的應(yīng)用需要將視覺數(shù)據(jù)翻譯為自然語言。研究視覺信息與描述語言之間的關(guān)聯(lián)成為一個重要的課題。
　　 VIMAC系統(tǒng)是北京郵電大學(xué)智能科學(xué)與技術(shù)中心研制的一個基于視覺信息的漢語詞匯習(xí)得系統(tǒng)，該系統(tǒng)基于圖像一語言描述對集合，為語言詞匯建立基于視覺信息的表征，并能應(yīng)用于圖像描述的自動生成。本論文的研究基于VIMAC系統(tǒng)的工作，一方面在VIMAC系統(tǒng)研究成果的基礎(chǔ)上展開，得到更細顆粒度的語言—視覺信息對，其中著重解決了在訓(xùn)練語

2、料中未出現(xiàn)的未登錄詞的圖像特征表示；另一方面又為VIMAC系統(tǒng)的改進提供了新的支持，可用于在圖像的外部說明文本中發(fā)現(xiàn)和定位對應(yīng)的視覺對象描述詞匯，從而達到輔助進行圖像檢索的目的。
　　 基于VIMAC習(xí)得系統(tǒng)，我們可以獲得詞匯類別與視覺特征的對應(yīng)關(guān)系，所以圖像視覺特征及其描述詞匯的對齊關(guān)鍵就在于為句子中的詞匯確定其所屬的范疇，也就是詞分類問題。我們通過對圖像描述句進行包括切分，詞性標注在內(nèi)的預(yù)處理后，基于知網(wǎng)提取圖像描述語料中的

3、關(guān)于顏色、大小、位置、形狀的詞匯，進行分類，最終將詞匯與其相對應(yīng)的圖像的視覺屬性對齊。本文同時對實現(xiàn)這一過程中的幾個關(guān)鍵因素對最終性能的影響進行了分析。實驗表明，對語料進行詞性標注處理后，詞語分類正確率大大提高；當(dāng)訓(xùn)練語料逐步增加時，分類性能也逐步增加，但當(dāng)語料達到一定規(guī)模后，性能基本也趨于飽和。之后，我們建立了一個數(shù)據(jù)庫，將圖像信息及其標注存儲起來，便于之后的添加，提取，修改和管理。最后為了直觀的顯示，利用ASP技術(shù)，編制出動態(tài)網(wǎng)頁，