基于局部視覺信息的大規(guī)模圖像檢索研究.pdf

1、隨著信息技術(shù)的迅猛發(fā)展，數(shù)碼產(chǎn)品的普及和因特網(wǎng)的深入人心。借助于計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)等，人們可以更加便捷地采集圖像、視頻等多媒體數(shù)據(jù)，還可以將這些數(shù)據(jù)與其他用戶分享。整個(gè)互聯(lián)網(wǎng)的多媒體數(shù)據(jù)以爆炸式增長(zhǎng)，給人們帶來了豐富的信息資源。為了便于人們快速地從海量的多媒體數(shù)據(jù)中獲取其所感興趣的信息，多媒體信息檢索技術(shù)應(yīng)運(yùn)而生。圖像作為一種重要的多媒體數(shù)據(jù)，已成為繼文本之后，信息檢索中最受關(guān)注的研究對(duì)象。由于圖像數(shù)據(jù)本身的內(nèi)容多樣性和復(fù)

2、雜性，基于給定的查詢圖像，如何從海量的圖像數(shù)據(jù)之中查找到內(nèi)容相關(guān)的圖像是一個(gè)非常有挑戰(zhàn)性的問題。其涉及到視覺信息的有效描述、大量數(shù)據(jù)的合理組織、高效率的查找方式等多方面的關(guān)鍵理論和方法。在基于圖像內(nèi)容的檢索應(yīng)用中，考慮的場(chǎng)景是給定一幅圖像樣例，在數(shù)據(jù)庫中查找到與給定圖像樣例中內(nèi)容相似或者局部相似的所有圖像，并依據(jù)與給定圖像樣例之間的相似度，對(duì)檢索到的圖像進(jìn)行排序。這是一種信號(hào)層的檢索方法，在給定了局部視覺特征的描述之后，關(guān)鍵的地方在于如

3、何在如此巨大的數(shù)據(jù)庫中找到正確的局部特征之間的匹配，局部特征之間的匹配是指描述相同圖像內(nèi)容的局部特征。特征匹配的一個(gè)最直接的方法是進(jìn)行特征描述子之間的兩兩歐式距離的計(jì)算。但是圖像的局部視覺特征往往是一個(gè)高維度的向量，比如SIFT特征是128維的，在大規(guī)模的圖像數(shù)據(jù)庫中進(jìn)行如此高維度的線性歐式距離計(jì)算是不可行的。本文的研究?jī)?nèi)容主要集中在基于局部視覺信息的圖像檢索上，包括視覺特征空間上下文環(huán)境描述子、SIFT特征可伸縮編碼和交叉索引、局部視

4、覺信息融合、以及更高效的圖像表達(dá)。
　　本研究主要內(nèi)容包括：⑴提出了一種描述局部視覺特征空間上下文環(huán)境的描述子?；诿總€(gè)視覺特征與同一圖像中其他視覺特征之間的空間位置特性，將特征的空間上下文關(guān)系分為兩種:多模態(tài)特性和共生特性。多模態(tài)特性是指在同一空間位置同時(shí)出現(xiàn)不同尺度、不同方向的特征描述子;共生特性是指視覺特征與其他視覺特征同時(shí)出現(xiàn)在同一幅圖像中?；谶@兩種視覺特征的空間上下文關(guān)系，首先生成一個(gè)高維描述子對(duì)其進(jìn)行描述，其次為了便

5、于快速比較，將生成的描述子二值化，用于局部特征匹配的校驗(yàn)。⑵提出了一種可伸縮的SIFT視覺特征二值化編碼方法和一種提高查詢特征查全率的交叉索引方法。為了對(duì)圖像數(shù)據(jù)庫進(jìn)行索引，一般需要根據(jù)線下學(xué)習(xí)得到的視覺碼本對(duì)視覺特征進(jìn)行量化處理。聚類量化是解決這個(gè)問題的最常用方法，但是由于聚類的方法生成的視覺碼本大小有限，視覺特征被量化得比較粗糙，量化后的區(qū)分度有限。而二值碼的描述能力豐富，且距離可以采用邏輯異或運(yùn)算得出，因此提出了一種描述SIFT特

6、征幅值模式的二值化編碼方式對(duì)視覺特征進(jìn)行精細(xì)的量化。為了提高查詢的查全率，根據(jù)聚類量化和二值量化的各自特性，本文提出了一種交叉檢索聚類量化和二值量化索引結(jié)構(gòu)的檢索方法。⑶提出了一種聯(lián)合視覺特征。由于一幅圖像往往可以檢測(cè)到數(shù)千個(gè)局部視覺特征，因此對(duì)于海量數(shù)據(jù)庫而言，要處理的局部視覺特征的數(shù)目是非常巨大的。對(duì)于數(shù)目如此巨大的局部視覺特征，如果對(duì)每個(gè)視覺單獨(dú)處理，對(duì)導(dǎo)致檢索系統(tǒng)的復(fù)雜度非常高。為了降低檢索系統(tǒng)的復(fù)雜度，需避免每個(gè)視覺特征單獨(dú)處

7、理，文中提出將視覺特征批量處理。每幅圖像的局部視覺特征被重新組織成幾十個(gè)聯(lián)合特征組，采用生成的描述子對(duì)每個(gè)特征組進(jìn)行統(tǒng)一描述，基于聯(lián)合特征的獨(dú)特性質(zhì)，利用重構(gòu)誤差計(jì)算圖像之間的相似度。為了加快檢索速度，文中提出了一種分治法的索引算法。⑷提出了一種基于局部視覺信息的圖像表達(dá)方式。如何將圖像的視覺內(nèi)容表達(dá)成向量的形式，是多媒體和計(jì)算機(jī)視覺問題中的一個(gè)基本問題。用局部特征構(gòu)建圖像的全局表達(dá)，可以繼承局部特征對(duì)遮擋、尺度、平移、旋轉(zhuǎn)等圖像變換的