基于局部特征的視覺上下文分析及其應(yīng)用.pdf

1、近十幾年來，隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的迅猛發(fā)展、數(shù)碼產(chǎn)品的普及以及因特網(wǎng)應(yīng)用的深入人心，網(wǎng)絡(luò)上的多媒體數(shù)據(jù)呈現(xiàn)出爆炸式的增長。面對因特網(wǎng)上的海量多媒體數(shù)據(jù)，特別是圖像數(shù)據(jù)，如何對其進(jìn)行有效分析、快速檢索、合理組織，是一項(xiàng)非常重要同時(shí)也是非常有挑戰(zhàn)性的工作。視覺上下文分析研究圖像和特征的內(nèi)在的聯(lián)系，是解決這一問題的有效手段。最近，隨著局部視覺特征的提出，在計(jì)算機(jī)視覺和多媒體領(lǐng)域，越來越多的研究者開始關(guān)注基于局部特征的視覺上下文分析的研究

2、。
　　 目前，基于局部特征的視覺上下文處理方法雖然取得了一定進(jìn)展，然而由于低層特征和高層語義概念之間語義鴻溝的存在，視覺上下文分析還有很多問題需要研究。本論文對基于局部特征的視覺上下文進(jìn)行了深入研究，根據(jù)具體場景，探索不同的上下文關(guān)系，分別應(yīng)用用于圖像重排序、典型圖像挑選、部分拷貝圖像檢索、自動(dòng)車牌檢測。本論文的主要工作和創(chuàng)新之處歸納為以下幾點(diǎn)：
　　 （1）論文提出了一種隱視覺上下文學(xué)習(xí)方法，基于文本檢索返回的圖像結(jié)

3、果，針對其不相關(guān)性和冗余性問題，進(jìn)行圖像重排序和典型圖像挑選。在隱視覺上下文學(xué)習(xí)模型中，論文一方面發(fā)掘圖像和視覺單詞間的隱語義關(guān)系，另一方面分別構(gòu)建視覺單詞和圖像的鏈接圖。通過利用圖分析的方法，發(fā)掘視覺單詞和圖像的重要性?；趫D像的重要性，可以進(jìn)一步和基于文本檢索的圖像排序結(jié)果相融合，進(jìn)行圖像重排序。此外，在隱視覺上下文學(xué)習(xí)結(jié)果的基礎(chǔ)上，論文提出了一種加權(quán)集覆蓋方法，用于挑選出代表性的典型圖像。
　　 （2）論文提出了一組基于局

4、部視覺特征幾何上下文的編碼方法，包括空間編碼、環(huán)編碼和幾何編碼，用于大規(guī)模的部分拷貝圖像檢索中的快速幾何校驗(yàn)，極大的提高了檢索精度。由于傳統(tǒng)的單純基于局部特征量化方法往往引入許多幾何不一致的匹配，影響圖像間的相似度比較，降低檢索精度。本論文基于經(jīng)典的局部特征SIFT（Lowe,2004），提出了一組編碼方法對圖像中視覺單詞間的相對幾何位置關(guān)系進(jìn)行簡潔有效表達(dá)。該編碼表達(dá)可實(shí)現(xiàn)平移不變、尺度不變、或（和）旋轉(zhuǎn)不變?；趲缀紊舷挛木幋a表達(dá)，

5、論文提出了一種新穎的幾何校驗(yàn)算法，可以快速發(fā)現(xiàn)全局幾何不一致的匹配。針對幾何上下文編碼可能存在的一些不足，論文提出了一些增強(qiáng)策略，包括仿射變換估計(jì)增強(qiáng)、查詢擴(kuò)展增強(qiáng)等，可進(jìn)一步改善檢索結(jié)果。
　　 （3）論文提出了一種新穎的主視覺單詞發(fā)現(xiàn)方法，針對車牌字符訓(xùn)練出一組具有豐富幾何上下文的視覺單詞，用于自動(dòng)車牌檢測。針對傳統(tǒng)的基于圖像邊緣圖的車牌檢測方法的不足，論文從局部特征幾何上下文的角度出發(fā)，提出了一種新穎的主視覺單詞生成的算法

6、。論文針對每個(gè)車牌字符訓(xùn)練得到一組主視覺單詞，這些主視覺單詞含有豐富的幾何信息，如尺度、主方向、相對位置、局部描述子等；然后對測試圖像，可以通過與其中的局部特征匹配的主視覺單詞的幾何信息，準(zhǔn)確估計(jì)出車牌的位置。該方法生成的主視覺單詞具有很強(qiáng)的區(qū)分能力和表達(dá)能力，而且和特定的語義概念（車牌字符）關(guān)聯(lián)。
　　 總而言之，本文基于局部視覺特征，從新穎獨(dú)特的視角出發(fā)，分析和挖掘蘊(yùn)含在圖像中的豐富的視覺上下文信息，應(yīng)用于多媒體處理的幾個(gè)場