基于深度學習表征的圖像檢索技術(shù).pdf

1、隨著近年來數(shù)碼相機及智能手機的大規(guī)模普及，以及存儲設(shè)備容量的持續(xù)增加，多媒體內(nèi)容特別是視覺數(shù)據(jù)呈現(xiàn)出爆發(fā)式的增長態(tài)勢。因而，對于海量的視覺內(nèi)容，如何進行迅速有效的檢索一直是國內(nèi)外學術(shù)與工業(yè)界的研究熱點。早期的圖像檢索系統(tǒng)通常使用基于文本的查詢方式，通過將用戶提供的查詢文本與互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容進行匹配，從而檢索到與查詢文本相關(guān)聯(lián)的圖像。隨著計算機視覺技術(shù)的發(fā)展，基于內(nèi)容的圖像檢索(Content-Based Image Retrieval，C

2、BIR)在解析用戶查詢意圖、增強用戶體驗等方面起到了與文本查詢相互補的作用，同時也在商品搜索、地標檢索、商標查重等商用場景中起到了突出的作用。
　　深度學習技術(shù)在最近幾年內(nèi)呈現(xiàn)出了非常引人注目的研究進展。在圖像內(nèi)容表征方面，基于深度學習的圖像表征（簡稱為深度表征）更是在眾多的計算機視覺任務中表現(xiàn)出了優(yōu)異的性能。而在深度學習的多種模型中，深度卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)則尤其擅長于

3、對圖像的內(nèi)容進行抽象與描述，在圖像檢索領(lǐng)域獲得了廣泛的關(guān)注與深入的研究。不同于傳統(tǒng)的圖像表征方式，深度表征側(cè)重于對圖像進行語義層面的全局表達，通過一個端到端的模型提取圖像中的重要信息，并使用緊湊的特征描述對圖像內(nèi)容進行有效的描述。盡管現(xiàn)有的基于深度表征的圖像檢索方法已經(jīng)取得了令人矚目的檢索性能，但仍有一系列問題難以克服:(1)不同于傳統(tǒng)的基于局部視覺特征的表征方法，深度表征在語義層面對圖像進行整體的刻畫，因而呈現(xiàn)出對局部細節(jié)表征不夠突出

4、，且對圖像空間位置、幾何形變比較敏感的特點;(2)基于局部表征的方法可以利用局部特征之間的空間關(guān)系對圖像匹配進行幾何校驗，以實現(xiàn)更加精確的匹配，而深度表征則難以利用這一性質(zhì)對檢索性能進行增強;(3)現(xiàn)有的方法多使用具有人工標注的公共基準數(shù)據(jù)集對檢索算法的性能進行驗證，無法實現(xiàn)對任意查詢實時響應的檢索質(zhì)量評估，不便于搜索引擎根據(jù)需要對檢索結(jié)果進行修正。
　　針對以上問題，本論文的研究內(nèi)容圍繞著基于深度表征的圖像檢索技術(shù)進行展開，包括

5、如何構(gòu)造良好的表征方式，如何對檢索結(jié)果進行性能增強，以及如何對檢索結(jié)果進行有效的實時評估。論文的創(chuàng)新點包括以下幾點:
　　(1)論文提出一種基于通用目標檢測技術(shù)的深度表征方式，可充分結(jié)合深度學習的語義表征能力與圖像顯著區(qū)域的判別能力。首先，本文使用通用物體檢測子在圖像中檢測出少量最有可能包含物體的區(qū)域，然后在這些區(qū)域中提取深度表征。同時為了對區(qū)域中的局部屬性進行描述，本文在其中提取局部不變特征，并與深度表征進行融合，可實現(xiàn)更加豐富

6、的圖像表征。
　　(2)論文提出在深度表征層面進行數(shù)據(jù)庫增強與查詢結(jié)果重排序，分別在線下索引階段與線上查詢階段，以極小的計算與存儲開銷對檢索性能進行增強。在索引階段，本文利用數(shù)據(jù)庫圖像之間的相互關(guān)系，通過鄰域信息實現(xiàn)無監(jiān)督的特征更新，使得獲得的特征具有更好的檢索性能。在查詢階段，本文提出對初始檢索結(jié)果進行殘差表達，充分利用查詢特征的鄰域信息，對檢索結(jié)果進行重排序。
　　(3)論文提出一種基于檢索結(jié)果相關(guān)性的方法對檢索質(zhì)量進行

7、自動評估，并實現(xiàn)線上多檢索結(jié)果選優(yōu)等應用。對每個檢索結(jié)果，本文通過其深度表征之間的相關(guān)性構(gòu)造一特征矩陣，并使用卷積神經(jīng)網(wǎng)絡對檢索質(zhì)量進行回歸學習。由多種表征方式獲得的相關(guān)性矩陣可以拼接在一起，實現(xiàn)基于多特征融合的質(zhì)量評估方法。
　　本文從深度表征出發(fā)，分別在特征構(gòu)造、線下索引、線上重排、質(zhì)量評估等各方面對圖像檢索技術(shù)進行充分而全面的研究。論文分別從方法層面、實驗層面與應用層面對所提出的方法進行闡述與驗證，充分證明方法的可靠性與實用