基于深度學(xué)習(xí)的圖像語義理解研究.pdf

1、隨著網(wǎng)絡(luò)上圖像的日益激增，圖像檢索成為研究熱點(diǎn)。準(zhǔn)確理解圖像是迅速檢索圖片的重要前提。
　　本文研究的內(nèi)容是使用一句既包含主體又包含場景的語句，理解并標(biāo)注一幅含有人的圖像。傳統(tǒng)語義理解方法主要側(cè)重圖像理解或自然語言處理，效率低且耗時(shí)長。應(yīng)用海量數(shù)據(jù)無監(jiān)督訓(xùn)練并采用有監(jiān)督調(diào)優(yōu)的深度學(xué)習(xí)因?yàn)樵趫D像分類挑戰(zhàn)競賽表現(xiàn)突出，逐漸成為當(dāng)前圖像處理的主流方法，遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)也逐漸成為自然語言處理的主要方法?；谏疃葘W(xué)習(xí)的圖像語義理解尚處研究初

2、期，因此鮮有相關(guān)工作發(fā)布。
　　本文增加基于深度學(xué)習(xí)的圖像描述生成系統(tǒng) NIC長短時(shí)記憶循環(huán)網(wǎng)絡(luò)層，經(jīng)過預(yù)訓(xùn)練得到初始模型、在初始模型基礎(chǔ)上有監(jiān)督調(diào)優(yōu)后，設(shè)計(jì)了端到端的圖像語義理解系統(tǒng)DLNN。使用含有人的圖片測試DLNN結(jié)果表明，在人物自拍、半身照、全身照等類別圖像上均能有效理解出主體和場景。在公開數(shù)據(jù)集上測試DLNN的BleU指標(biāo)，驗(yàn)證了DLNN在圖像的語義化理解上的有效性。進(jìn)一步，本文參考 MLBL-F改進(jìn) MLBL-B的方