基于統(tǒng)計機器翻譯的視頻描述自動生成.pdf

1、人類使用豐富的自然語言來描述交流視覺可見的信息，例如視頻、圖像等。本文將描述一種針對視頻的自動生成自然語言描述的方法。本文的方法分成兩個主要步驟：首先，基于視頻內(nèi)容，我們抽取出表征其關鍵信息的語義表示（其中包括了視頻中的活動，活動的客體等）。第二步,我們基于抽取出來的語義表示生成自然語言描述。與傳統(tǒng)的自然語言生成不同，在本文中我們將由語義表示到自然語言的轉(zhuǎn)換過程抽象為一個統(tǒng)計機器翻譯問題：視頻的語義表示在統(tǒng)計機器翻譯的框架下作為源語言，

2、自然語言描述則作為目標語言。我們采用TACoS[1]作為平行語料庫，從中學習統(tǒng)計機器翻譯模型。TACoS中包含了視頻片段，對應的底層語義信息標注以及人工標注的視屏片段描述。為了減小從視頻中抽取出的語義表示中包含的噪聲對生成自然語言質(zhì)量的影響，我們采用word lattice結(jié)構(gòu)來表征多個具有不同概率的視頻語義表示，進而采用word lattice解碼來翻譯得到最終的自然語言描述。實驗結(jié)果顯示，我們的方法無論使用通用的機器翻譯自動評價指標