圖像中目標(biāo)精細(xì)檢索關(guān)鍵技術(shù)研究.pdf

1、隨著圖像采集設(shè)備的普及和移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，圖像數(shù)量呈現(xiàn)爆炸式增長(zhǎng)，如何快速準(zhǔn)確的在海量的圖像數(shù)據(jù)中進(jìn)行目標(biāo)檢索，是近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)，具有十分重要的學(xué)術(shù)意義和應(yīng)用價(jià)值。而隨著用戶對(duì)于檢索要求的不斷提高，目標(biāo)精細(xì)檢索系統(tǒng)也開(kāi)始進(jìn)入人們的視野。通常來(lái)說(shuō)，目標(biāo)精細(xì)檢索系統(tǒng)可以從兩方面進(jìn)行定義:(1)能夠生成更加精細(xì)的圖像標(biāo)注信息。更精細(xì)的標(biāo)注包括物體區(qū)域的像素級(jí)標(biāo)注（分割信息），以及物體部位的標(biāo)注信息。這些精細(xì)的標(biāo)注信息允

2、許檢索系統(tǒng)返回更加精細(xì)的檢索結(jié)果;(2)能夠理解用戶更加精細(xì)的檢索意圖描述。例如用戶以手繪草圖作為檢索輸入，該草圖描述著檢索目標(biāo)的形狀細(xì)節(jié)、姿態(tài)、角度等信息。對(duì)精細(xì)檢索意圖的理解允許檢索系統(tǒng)返回和用戶輸入高度匹配的目標(biāo)?？偟膩?lái)說(shuō)，相比于傳統(tǒng)的目標(biāo)檢索系統(tǒng)，目標(biāo)精細(xì)檢索系統(tǒng)能夠返回更加符合用戶需求的檢索結(jié)果，避免用戶對(duì)檢索結(jié)果進(jìn)行二次處理和篩選，滿足用戶精細(xì)化的檢索需求，大大提高目標(biāo)檢索的效率，具有非常重要的意義。本文的工作以目標(biāo)精細(xì)檢索

3、為目標(biāo)，從以上兩個(gè)方面入手進(jìn)行研究，取得了以下成果:
　　(1)針對(duì)目標(biāo)標(biāo)注中的目標(biāo)多樣性和像素級(jí)標(biāo)注問(wèn)題，本文提出了一種基于超像素（superpixel）和改進(jìn)與或圖(AND/OR Graph)模型的目標(biāo)標(biāo)注方法。目標(biāo)物體在外觀、姿態(tài)上的多樣性，會(huì)顯著降低目標(biāo)標(biāo)注的性能，增加像素級(jí)標(biāo)注的難度。針對(duì)這個(gè)問(wèn)題，本文將目標(biāo)物體定義為一系列部位的組合，提出一種改進(jìn)的與或圖模型來(lái)組織部位之間的關(guān)系，以提高對(duì)于外觀和姿態(tài)變化的魯棒性，并利用

4、基于圖模型的快速推理算法實(shí)現(xiàn)對(duì)物體部位的最優(yōu)選擇。在生成候選部位集合的過(guò)程中，考慮到像素級(jí)標(biāo)注的要求，本文以超像素區(qū)域的輪廓形狀作為特征，基于模板庫(kù)來(lái)實(shí)現(xiàn)候選物體部位集合的生成。超像素和改進(jìn)與或圖模型的結(jié)合，使得本文的方法對(duì)于目標(biāo)多樣性具有較好的魯棒性，并且能夠?qū)崿F(xiàn)目標(biāo)的像素級(jí)標(biāo)注。在多個(gè)公共數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果證明了本文的方法能夠有效的應(yīng)對(duì)目標(biāo)多樣性問(wèn)題，實(shí)現(xiàn)目標(biāo)區(qū)域的精細(xì)（像素級(jí)）標(biāo)注。
　　(2)針對(duì)目標(biāo)部位標(biāo)注中的魯棒性問(wèn)題

5、，本文提出了一種基于輪廓預(yù)測(cè)及增強(qiáng)的目標(biāo)部位標(biāo)注方法。相較于目標(biāo)整體，目標(biāo)部位具有形變較小的優(yōu)點(diǎn)，但同時(shí)也具有有效特征少，易受噪聲干擾的問(wèn)題?；谶@些特點(diǎn)，本文通過(guò)增強(qiáng)物體部位的輪廓邊緣來(lái)提高目標(biāo)部位標(biāo)注對(duì)于噪聲干擾的魯棒性。本文利用學(xué)習(xí)算法從正樣本集中自動(dòng)的學(xué)習(xí)一組典型的輪廓邊緣模式(edgepatterns)?；趯W(xué)習(xí)得到的輪廓模式，本文提出一種“輪廓預(yù)測(cè)-增強(qiáng)”策略對(duì)輸入圖像進(jìn)行過(guò)濾，預(yù)測(cè)圖像中可能存在的物體部位輪廓邊緣，根據(jù)預(yù)測(cè)

6、結(jié)果在增強(qiáng)物體部位輪廓邊緣的同時(shí)抑制噪聲邊緣，以達(dá)到提高部位標(biāo)注魯棒性的目的。INRIA和TUD數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明了本文的方法的確有效的提高了目標(biāo)部位標(biāo)注的魯棒性。
　　(3)針對(duì)手繪草圖檢索中的噪聲問(wèn)題，本文提出了一種輪廓邊緣選擇算法。由于自然圖像中存在的大量噪聲，手繪草圖和自然圖像之間存在巨大的視覺(jué)差異。如何有效的降低噪聲邊緣的影響，是提高檢索系統(tǒng)性能的一個(gè)關(guān)鍵點(diǎn)。本文將手繪目標(biāo)圖像和邊緣圖像（自然圖像經(jīng)邊緣檢測(cè)生成）視為

7、一系列線段的組合，提出了一個(gè)HLR(histogram of line relationship)描述子通過(guò)描述線段之間的關(guān)系來(lái)描述物體形狀。因?yàn)檫吘増D像中包含大量的噪聲邊緣，如物體細(xì)節(jié)邊緣和背景邊緣，基于HLR描述子，本文對(duì)邊緣進(jìn)行選擇，保留物體輪廓邊緣，忽略噪聲邊緣。該算法為每一個(gè)HLR描述子生成大量假設(shè)，每種假設(shè)對(duì)應(yīng)一種邊緣選擇的結(jié)果，最終將邊緣選擇問(wèn)題轉(zhuǎn)化為一個(gè)尋找最佳假設(shè)組合的最優(yōu)化問(wèn)題。相應(yīng)的，本文提出一個(gè)快速算法來(lái)求解這個(gè)

8、最優(yōu)化問(wèn)題。實(shí)驗(yàn)表明，HLR描述子和邊緣選擇算法都有效的提高了檢索性能，增強(qiáng)了檢索系統(tǒng)對(duì)于噪聲的魯棒性。
　　(4)針對(duì)手繪草圖中的邊緣不穩(wěn)定問(wèn)題，本文提出了一種最優(yōu)局部匹配算法。自然圖像經(jīng)過(guò)邊緣提取不僅會(huì)生成噪聲邊緣，也會(huì)造成輪廓邊緣丟失，即邊緣不穩(wěn)定問(wèn)題。這個(gè)問(wèn)題增加了手繪目標(biāo)圖像和自然圖像之間的匹配困難。噪聲邊緣的存在使得邊緣圖像（自然圖像經(jīng)邊緣檢測(cè)生成）成為手繪草圖的一個(gè)超集，而輪廓邊緣丟失使得邊緣圖像成為手繪草圖的一個(gè)子