基于多模態(tài)監(jiān)督學(xué)習(xí)的圖像重排序算法研究.pdf

1、伴隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，伴隨著“互聯(lián)網(wǎng)+”的概念的提出，網(wǎng)絡(luò)上涌現(xiàn)出了大量的圖像，人們也期待能夠從這些海量的圖像中快速找尋到自己需要的圖像。由于目前的圖像檢索系統(tǒng)返回的檢索結(jié)果不能夠滿(mǎn)足大部分人的要求，因此提出了圖像檢索的重排序算法，以此來(lái)提高圖像檢索系統(tǒng)的性能。
　　圖像檢索的重排序是指對(duì)由傳統(tǒng)的基于文本檢索的檢索系統(tǒng)中返回的檢索結(jié)果中的圖像進(jìn)行重新的排序，來(lái)達(dá)到提高圖像檢索的精確度，多樣性等的目的?，F(xiàn)在的圖像重排序的方法大部

2、分是基于一種模態(tài)的，由于很難能夠找到一種適合所有查詢(xún)的模態(tài)，因此提出了多模態(tài)的概念?；诙嗄B(tài)的圖像重排序是指融合從初始化列表中圖像的多種視覺(jué)特征中學(xué)習(xí)得到的重排序特征進(jìn)行圖像檢索的重排序。
　　本文圍繞著如何更加高效的利用多模態(tài)來(lái)提高圖像檢索的重排序性能，主要討論了圖像視覺(jué)特征的選擇、圖像相似度計(jì)算、圖像生成特征的計(jì)算和圖像生成特征權(quán)重的計(jì)算這四個(gè)方面的問(wèn)題。論文的主要工作歸納如下:
　　(1)對(duì)于由基于文本檢索的搜索引擎

3、返回的初始化列表中的每一幅圖像提取以下六種視覺(jué)特征: HSV顏色直方圖特征、RGB顏色直方圖特征、基于分塊的顏色矩特征、顏色相關(guān)圖特征、邊緣方向直方圖特征、基于小波變換的紋理特征。
　　(2)根據(jù)不同的模態(tài)建立不同的相似圖，其中圖中頂點(diǎn)是指初始列表中的圖像，頂點(diǎn)之間的權(quán)重是指圖像之間相似度。不同的相似圖是根據(jù)不同的模態(tài)建立的，為了更加準(zhǔn)確的計(jì)算圖像之間的相似度，對(duì)于不同的模態(tài)，我們采用不同的相似度計(jì)算方法。
　　(3)在相似

4、圖和圖像的初始化排名的基礎(chǔ)上，我們將多模態(tài)的圖像視覺(jué)特征轉(zhuǎn)化為獨(dú)立于查詢(xún)的幾種圖像重排序特征，分別叫做基于PageRank的偽相關(guān)反饋特征、密度特征以及根據(jù)初始化排名計(jì)算得到的初始化得分特征，并將它們?nèi)诤系揭粋€(gè)19維的特征向量，因此我們就可以將初始化列表中的每一幅圖像利用一個(gè)19維的特征向量來(lái)進(jìn)行表示。
　　(4)我們利用監(jiān)督學(xué)習(xí)的方法來(lái)學(xué)習(xí)(3)中得到的每一維圖像重排序特征的權(quán)重。
　　(5)在實(shí)驗(yàn)中，我們?cè)谟晌④泚喼扪芯?/p>