線聯(lián)網(wǎng)圖像高效標注和解譯的關鍵技術研究.pdf

1、作為支持互聯(lián)網(wǎng)大規(guī)模圖像檢索的一種有效和實用方法，互聯(lián)網(wǎng)圖像自動標注和理解已成為學術界和產(chǎn)業(yè)界的熱點問題而被深入研究。本文研究了圖像視覺內(nèi)容與伴隨文本語義之間的潛在關聯(lián)關系挖掘、圖像解譯、大規(guī)模數(shù)據(jù)聚類以及圖像視覺特征深度學習等關鍵性問題。論文的主要工作有：
　　 一、提出了一種基于數(shù)據(jù)驅(qū)動的互聯(lián)網(wǎng)圖像自動標注和理解框架(AutomaticWeb Image Annotation and Interpretation，AWIAI

2、)。在圖像自動標注過程中，AWIAI框架先計算圖像伴隨文本中單詞可見度屬性來構(gòu)建“圖像-單詞”關系矩陣，然后對該關系矩陣進行隱性文法分析以擴展備選標注單詞，最后通過圖像視覺內(nèi)容的無監(jiān)督學習和對單詞兩兩共生關系進行分析和排序，得到圖像標注最終結(jié)果。
　　 二、在圖像自動標注結(jié)果的基礎上，提出了圖像解譯的概念和具體實現(xiàn)方法?，F(xiàn)有圖像自動標注方法未能對標注單詞之間存在的語法關系進行分析，因此得到的圖像標注結(jié)果是若干離散單詞，難以對圖像

3、所蘊含豐富語義進行自然語言的深層次描繪(如對圖像產(chǎn)生“熊貓吃竹子”的分析結(jié)果)。該方法在AWIAI框架下得到圖像標注單詞后，分析標注單詞之間的語句關系，產(chǎn)生句法群組，以自然語言方式對目標圖像內(nèi)容進行解譯。
　　 三、對存在致密相似度關系的大規(guī)模數(shù)據(jù)，本文針對性提出了兩種改進的近鄰傳播聚類的方法，即在聚類過程中通過局部信息傳遞來加快整體信息傳遞速度的方法，以及通過對局部采樣數(shù)據(jù)進行信息傳遞，再將其它數(shù)據(jù)內(nèi)嵌進去從而得到快速全局近似

4、結(jié)果的方法。AWIM框架以數(shù)據(jù)驅(qū)動為核心進行圖像智能處理，因此需要解決大規(guī)模數(shù)據(jù)高效聚類這一難點問題。
　　 四、在AWIM的圖像理解過程中，本文提出了一種結(jié)合模型和數(shù)據(jù)驅(qū)動的深度學習方法(Deep Model-based and Data-drvien，DMD)來提取圖像理解中最具區(qū)別性的視覺特征。近來神經(jīng)科學理論研究成果認為大腦對外界視覺信息感知是一個逐層學習過程。DMD方法通過一個從簡單到復雜的深度學習流程來提取圖像視覺特