局部圖像特征描述概述

1、局部圖像特征描述是計(jì)算機(jī)視覺的一個(gè)基本研究問題，在尋找圖像中的對(duì)應(yīng)點(diǎn)以及物體特征描述中有著重要的作用。它是許多方法的基礎(chǔ)，因此也是目前視覺研究中的一個(gè)熱點(diǎn)，每年在視覺領(lǐng)域的頂級(jí)會(huì)議ICCVCVPRECCV上都有高質(zhì)量的特征描述論文發(fā)表。同時(shí)它也有著廣泛的應(yīng)用，舉例來說，在利用多幅二維圖像進(jìn)行三維重建、恢復(fù)場景三維結(jié)構(gòu)的應(yīng)用中，其基本出發(fā)點(diǎn)是要有一個(gè)可靠的圖像對(duì)應(yīng)點(diǎn)集合，而自動(dòng)地建立圖像之間點(diǎn)與點(diǎn)之間的可靠對(duì)應(yīng)關(guān)系通常都依賴于一個(gè)優(yōu)秀的局

2、部圖像特征描述子。又比如，在物體識(shí)別中，目前非常流行以及切實(shí)可行的方法之一是基于局部特征的，由于特征的局部性，使得物體識(shí)別可以處理遮擋、復(fù)雜背景等比較復(fù)雜的情況。局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時(shí)候，通常是為了魯棒地處理各種圖像變換的情況。因此，在構(gòu)建設(shè)計(jì)特征描述子的時(shí)候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對(duì)于視角變化的不變性、對(duì)尺度變化的不變性、對(duì)旋

3、轉(zhuǎn)變化的不變性等；在形狀識(shí)別和物體檢索中，需要考慮特征描述子對(duì)形狀的不變性。然而，特征描述子的可區(qū)分性的強(qiáng)弱往往和其不變性是矛盾的，也就是說，一個(gè)具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個(gè)非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個(gè)例子，假定我們需要對(duì)一個(gè)點(diǎn)周圍固定大小的局部圖像內(nèi)容進(jìn)行描述。如果我們直接將圖像內(nèi)容展開成一個(gè)列向量對(duì)其進(jìn)行描述，那么只要局部圖像內(nèi)容發(fā)生了一點(diǎn)變化，就會(huì)使

4、得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對(duì)于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會(huì)產(chǎn)生很大的差異，即不變性弱。而另一方面，如果我們通過統(tǒng)計(jì)局部圖像灰度直方圖來進(jìn)行特征描述，這種描述方式具有較強(qiáng)的不變性，對(duì)于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較MROGH（MultisupptRegionderbasedGradientHistogram）則是特征匯聚策略上尋求創(chuàng)新，之前的局部圖像特征描

5、述子，其特征匯聚策略都是基于鄰域內(nèi)點(diǎn)的幾何位置的，而MROGH基于點(diǎn)的灰度序進(jìn)行特征匯聚。BRIEF（BinaryRobustIndependentElementFeature）利用局部圖像鄰域內(nèi)隨機(jī)點(diǎn)對(duì)的灰度大小關(guān)系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲(chǔ)要求內(nèi)存低，因此手機(jī)應(yīng)用中具有很好的應(yīng)用前景。其實(shí)，利用鄰域內(nèi)點(diǎn)對(duì)的灰度大小關(guān)系進(jìn)行特征描述這一思想在SMD（ECCV’08）中就已經(jīng)有了。除了BRIE

6、F，近兩年還提出了許多二值特征描述子，例如B、BRISK、FREAK。上述這些特征描述子都是基于手動(dòng)設(shè)計(jì)得到的，也有一些研究試圖利用機(jī)器學(xué)習(xí)的方法，通過數(shù)據(jù)驅(qū)動(dòng)得到想要的特征描述子。這類特征描述子包括PCASIFT，LinearDiscriminativeEmbedding，LDAHash等。當(dāng)然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。國際上研究局部圖像特征描述子比較著名的學(xué)者有：英國Surrey

7、大學(xué)的Mikolajzyk，他在INRIA做博后的時(shí)候，在寬基線應(yīng)用背景下，對(duì)SIFT、ShapeContext、PCASIFT、不變矩等多種局部圖像描述子的性能進(jìn)行了評(píng)測，相關(guān)論文發(fā)表在2005年P(guān)AMI上，他提出來的評(píng)測方法至今仍是局部圖像描述子研究領(lǐng)域中廣泛采用的性能評(píng)測方法。INRIA的C.Sch，她九十年代就開始研究局部圖像描述方法了，是這個(gè)領(lǐng)域內(nèi)的元老之一，不過這幾年她的團(tuán)隊(duì)正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識(shí)別等應(yīng)用中。比