基于深度神經網絡和注意力機制的圖像問答研究.pdf

1、圖像問答是一個很有挑戰(zhàn)性的任務，它的目標是把計算機視覺和自然語言處理聯(lián)系起來。在這個任務中，給定一張圖片和一個相關的問題，我們要求機器能根據圖像內容，再加上一些常識來推理得到問題的答案。因此，為了完成圖像問答這個任務，機器必須具有跨模態(tài)的理解能力（視覺和語言），而這一點比那些在單一模態(tài)下的任務（圖像識別，文檔分類等）要求更高。
　　圖像問答這個任務的意義體現(xiàn)在多個方面。首先，從計算機視覺這個研究領域看，為了讓機器能夠充分理解圖片的

2、內容,繼圖片識別和描述這兩個任務之后，圖像問答是一個很自然的后續(xù)，因為這個任務要求對圖像的內容有更精細的理解。其次，從自然語言處理這個領域看，為了能夠真正理解人類的語言，如何把語言對應到視覺世界這一步是必不可少的。雖然計算機視覺和自然語言處理同屬人工智能的范疇，但是從歷史上看，這兩個領域的發(fā)展是分開的。圖像問答任務的提出表明這兩個領域逐漸開始融合，而它們的融合是構建真正的通用人工智能的必經之路。
　　近幾年內，圖像問答發(fā)展迅速，受

3、到來自計算機視覺和自然語言處理領域的廣泛關注，提出了很多解決這項任務的方法。大多數(shù)方法采取了一個端到端的流程，用一個預訓練的卷積神經網絡提取圖片特征，用一個遞歸神經網絡來表征問題，然后把圖片特征和問題特征連結起來預測答案。盡管這種端到端的方法的準確率還行，但是整個圖像問答的系統(tǒng)變成了一個黑箱，我們只知道輸入和輸出，卻不知道中間發(fā)生了什么。因此，我們首先提出把這種端到端的系統(tǒng)分解成兩步:解釋和推理，通過對中間結果的可視化來實現(xiàn)一個解釋性更

4、高的圖片問答模型。我們的這個模型達到了目前最高的準確率，并且具有一定程度的可解釋性。
　　此外，大多數(shù)圖片問答的方法都致力于提高預測答案的準確性，但是忽略了對答案的解釋。我們認為，與答案本身相比，答案的解釋同樣甚至更加重要，因為它使問答過程更易于理解和跟蹤。為此，我們提出了“帶解釋的圖像問答”的新任務，其中模型不僅需要預測問題的答案，同時也解釋所預測的答案。我們首先構造一個新的數(shù)據集，然后在多任務學習架構中解決帶解釋的圖像問答問題