基于深度學(xué)習(xí)的圖像語(yǔ)義理解研究.pdf

1、隨著網(wǎng)絡(luò)上圖像的日益激增，圖像檢索成為研究熱點(diǎn)。準(zhǔn)確理解圖像是迅速檢索圖片的重要前提。
　　本文研究的內(nèi)容是使用一句既包含主體又包含場(chǎng)景的語(yǔ)句，理解并標(biāo)注一幅含有人的圖像。傳統(tǒng)語(yǔ)義理解方法主要側(cè)重圖像理解或自然語(yǔ)言處理，效率低且耗時(shí)長(zhǎng)。應(yīng)用海量數(shù)據(jù)無(wú)監(jiān)督訓(xùn)練并采用有監(jiān)督調(diào)優(yōu)的深度學(xué)習(xí)因?yàn)樵趫D像分類(lèi)挑戰(zhàn)競(jìng)賽表現(xiàn)突出，逐漸成為當(dāng)前圖像處理的主流方法，遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)也逐漸成為自然語(yǔ)言處理的主要方法。基于深度學(xué)習(xí)的圖像語(yǔ)義理解尚處研究初

2、期，因此鮮有相關(guān)工作發(fā)布。
　　本文增加基于深度學(xué)習(xí)的圖像描述生成系統(tǒng) NIC長(zhǎng)短時(shí)記憶循環(huán)網(wǎng)絡(luò)層，經(jīng)過(guò)預(yù)訓(xùn)練得到初始模型、在初始模型基礎(chǔ)上有監(jiān)督調(diào)優(yōu)后，設(shè)計(jì)了端到端的圖像語(yǔ)義理解系統(tǒng)DLNN。使用含有人的圖片測(cè)試DLNN結(jié)果表明，在人物自拍、半身照、全身照等類(lèi)別圖像上均能有效理解出主體和場(chǎng)景。在公開(kāi)數(shù)據(jù)集上測(cè)試DLNN的BleU指標(biāo)，驗(yàn)證了DLNN在圖像的語(yǔ)義化理解上的有效性。進(jìn)一步，本文參考 MLBL-F改進(jìn) MLBL-B的方