圖像檢索中自動標注、標簽處理和重排序問題的研究.pdf

1、近年來，隨著數(shù)碼拍照設(shè)備的普及以及網(wǎng)絡(luò)和存儲技術(shù)的發(fā)展，網(wǎng)絡(luò)中圖像的數(shù)量呈現(xiàn)出爆炸式的增長趨勢。特別是伴隨Web2.0技術(shù)的出現(xiàn)，海量用戶產(chǎn)生的圖像得以通過社交分享網(wǎng)站（如Flickr和Instagram）被分享和傳播。與此同時，互聯(lián)網(wǎng)中圖像資源的快速增長也催生了對高效的圖像檢索系統(tǒng)的需求?，F(xiàn)有的商用圖像檢索系統(tǒng)需要依賴圖像附加的文本信息來為用戶提供檢索服務(wù)。但是，人工進行圖像標注的過程費時費力，因此自動圖像標注技術(shù)受到圖像檢索領(lǐng)域的廣

2、泛研究。另一方面，對于社交分享網(wǎng)站中的圖像，用戶提供的標簽往往不能準確且全面地描述圖像的真實內(nèi)容，因而也難以作為圖像檢索中可靠的索引關(guān)鍵字。因此，圖像檢索研究中的一項基礎(chǔ)研究是來處理圖像的標簽信息，特別是提高標簽對圖像內(nèi)容的描述能力。除此之外，由于僅利用了圖像的文本信息，現(xiàn)有的圖像檢索系統(tǒng)返回的結(jié)果往往并不能令人滿意。因此，如何基于圖像的視覺信息對原始的檢索結(jié)果進行重排序也是圖像檢索領(lǐng)域的重要問題之一。
　　本文展開了一系列研究工

3、作來提高當前圖像檢索系統(tǒng)的性能，詳細討論了圖像標注、標簽相關(guān)度學習、標簽推薦和圖像重排序這四個重要問題。論文的主要工作和創(chuàng)新性可以歸納為以下幾個方面:
　　(1)本文提出了一種新穎的圖像標注方法，該方法同時改進了基于近鄰的方法中的兩個階段。在近鄰搜索階段，不同于現(xiàn)有的方法通過預(yù)測距離來發(fā)現(xiàn)視覺近鄰，我們介紹了一種面向排序的近鄰搜索機制，采用排序?qū)W習框架來直接優(yōu)化已標注圖像相對于待標注圖像的相對順序，而非它們之間的絕對距離。在排序過

4、程中，我們利用了已標注圖像中隱含的偏序信息并強調(diào)高位置的排序結(jié)果的準確性。在關(guān)鍵詞傳遞階段，不同于現(xiàn)有的方法采用簡單的啟發(fā)式規(guī)則來選擇傳遞關(guān)鍵詞，我們介紹了一種基于學習的關(guān)鍵詞傳遞策略，利用監(jiān)督學習技術(shù)來學習一個可以評估候選關(guān)鍵詞相關(guān)度的得分函數(shù)。關(guān)鍵詞的相關(guān)度是根據(jù)它與待標注圖像的視覺近鄰之間的不同關(guān)系來決定的。在Core15K和MIRFlickr數(shù)據(jù)集上的大量實驗證明了該方法的有效性。
　　(2)本文提出了一種面向排序的標簽相

5、關(guān)度學習方法，該方法從排序?qū)W習的角度來解決標簽相關(guān)度學習這一問題，并在學習過程中直接優(yōu)化基于標簽的圖像檢索的排序性能。具體來說，我們將監(jiān)督學習的步驟引入到近鄰投票策略中，該策略通過累積視覺近鄰的投票來估計一個標簽的相關(guān)度。通過明確地建模視覺近鄰的權(quán)重以及標簽之間的相關(guān)系數(shù)，我們的方法有效地避免了傳統(tǒng)的非監(jiān)督學習方法中進行啟發(fā)式假設(shè)的風險。此外，我們的方法也解決了傳統(tǒng)的監(jiān)督學習方法中的可擴展性問題。通過在兩個基準數(shù)據(jù)集上與其他先進的方法進

6、行比較，我們證明了本文的方法的有效性。
　　(3)本文提出了一種結(jié)合相關(guān)性和多樣性的圖像標簽推薦方法。以往的圖像標簽推薦方法往往利用標簽間的共現(xiàn)信息來進行標簽推薦。但是，由于忽略了圖像的視覺信息以及被推薦標簽之間的語義多樣性，以往方法的推薦結(jié)果常存在標簽歧義和標簽冗余的問題。為了解決上述問題，我們的方法在推薦時綜合考慮了被推薦標簽的相關(guān)性和多樣性。首先，方法建模每一個標簽的視覺語言模型，并利用它來分別計算標簽和圖像的相關(guān)性以及標簽

7、之間的視覺距離。然后，基于上述計算，我們提出了一個貪心選擇算法來找到能合理地平衡相關(guān)性和多樣性的標簽集合，將該集合作為最終的推薦。在Flickr數(shù)據(jù)集上的實驗表明，本文的方法在準確率、主題覆蓋率和F1測度上均優(yōu)于其他先進的方法。
　　(4)本文提出了一種結(jié)合相關(guān)性和多樣性的圖像重排序方法，該方法是一個基于聚類的重排序方法，綜合了已有的相互投票算法和貪心選擇算法的優(yōu)點。我們的方法利用相互投票算法在原始搜索結(jié)果中選擇一些圖像作為候選代