圖像梯度方向直方圖描述子

1、圖像梯度方向直方圖描述子,重慶大學(xué)行業(yè)信息化工程中心 黃晟,圖像表征,什么是圖像的描述子？其實圖像描述子就是圖像的一種表征形式，我們所熟知的像素值便是最常見最樸素的一種圖像表征形式，也可以被看成一種描述形式。既然已經(jīng)存在像素這種描述子，為何我們還有尋求新的圖像描述子？,圖像梯度方向直方圖描述子,圖像梯度方向直方圖（Histogram of Oriented Gradient）HOG（Histogram of Oriented

2、 Gradient）是2005年CVPR會議上，法國國家計算機科學(xué)及自動控制研究所的Dalal等人提出的一種解決人體目標檢測的圖像描述子，該方法使用梯度方向直方圖（Histogram of Oriented Gradients,簡稱HOG）特征來表達人體，提取人體的外形信息和運動信息，形成豐富的特征集。,圖像梯度方向直方圖的生成步驟,生成步驟：,HOG描述子高維圖像特征向量生成步驟,HOG描述子高維圖像特征向量生成步驟：圖像歸一化利

3、用一階微分計算圖像梯度基于梯度幅值的方向權(quán)重投影HOG特征向量歸一化得出HOG最終的特征向量,圖像歸一化,step 1:圖像歸一化歸一化圖像的主要目的是提高檢測器對光照的魯棒性，因為實際的人體目標可能出現(xiàn)的各種不同的場合，檢測器，必須對光照不太敏感才會有好的效果。,利用一階微分計算圖像梯度,Step 2 利用一階微分計算圖像梯度圖像平滑梯度法求圖像梯度,圖像平滑,圖像平滑對于灰度圖像，一般為了去除噪點，所以會先利用離

4、散高斯平滑模板進行平滑：高斯函數(shù)在不同平滑的尺度下進行對灰度圖像進行平滑操作，Dalal等實驗表明在下，人體檢測效果最佳（即不做高斯平滑），使得錯誤率縮小了約一倍。不做平滑操作，可能原因：圖像時基于邊緣的，平滑會降低邊緣信息的對比度，從而減少圖像中的信號信息。,利用一階微分求解圖像梯度,一階微分處理一般對灰度階梯有較強的響應(yīng)一階微分：對于函數(shù)f(x,y)，在其坐標（x,y）上的梯度是通過如下二維列向量定義的：這個向量的模值由下

5、式給出：,因為模值的計算開銷比較大，一般可以按如下公式近似求解：Dalal等人利用許多一階微分模板進行求梯度近似值，但在實驗中表明模板[-1,0,1]效果最好。,,我將采用模板[-1,0,1]為例計算圖像梯度以及方向，通過梯度模板計算水平和垂直方向的梯度分別如下：其中，分別表示該像素點的水平，垂直梯度值。計算該像素點的梯度值（梯度強度）以及梯度方向：,,對于梯度方向的范圍限定，一般采用無符號的范圍，故梯度方向可表示為：,

6、,基于梯度幅值的方向權(quán)重投影,Step 3 基于梯度幅值的方向權(quán)重投影HOG結(jié)構(gòu)通常使用的HOG結(jié)構(gòu)大致有三種：矩形HOG（簡稱為R-HOG），圓形HOG和中心環(huán)繞HOG。它們的單位都是Block（即塊）,,Dalal的試驗證明矩形HOG和圓形HOG的檢測效果基本一致，而環(huán)繞形HOG效果相對差一些。并且，圓形與環(huán)繞形的HOG文獻比較少，應(yīng)用研究沒有矩形HOG普遍。所以在此，我將著重講解矩形HOG的情況。,矩形HOG塊的劃分：一般一

7、個塊（Block）都由若干單元（Cell）組成，一個單元都有如干個像素點組成。,,,在每個Cell中有獨立做梯度方向統(tǒng)計，從而以梯度方向為橫軸的的直方圖，前面我們已經(jīng)提到過，梯度方向可取0度到180度或0度~360度，但dalal實驗表明，對于人體目標檢測0度~180度這種忽略度數(shù)正負級的方向范圍能夠取得更好的結(jié)果。然后又將這個梯度分布平均分成 個方向角度（orientation bins），每個方向角度范圍都會對應(yīng)一個直方柱。,,根據(jù)

8、Dalal等人實驗，在人體目標檢測中，在無符號方向角度范圍并將其平均分成9份（bins）能取得最好的效果，當(dāng)bin的數(shù)目繼續(xù)增大效果改變不明顯，故一般在人體目標檢測中使用bin數(shù)目為9范圍0~180度的度量方式。如下圖所示：,,Block中各個參數(shù)的最終選?。?,,從圖中可以看出，對于人體對象檢測，塊的大小為3×3個單元格，單元格的大小為6×6個象素時，檢測效果是最好的，錯誤率約為10%左右。塊的大小為2×

9、2個單元格，單元格大小為8×8個象素時，也相差無幾。6－8個象素寬的單元格，2－3個單元格寬的塊，其錯誤率都在最低的一個平面上。塊的尺寸太大時標準化的作用被削弱了從而導(dǎo)致錯誤率上升，而如果塊的尺寸太小時，有用的信息反而會被過濾掉。在實際應(yīng)用中，在Block和Cell劃分之后，對于得到各個像區(qū)域中，有時候還會為了進行一次高斯平滑，但是對于人體目標檢測等問題，該步驟往往可以忽略，實際應(yīng)用效果不大，估計在主要還是去除區(qū)域中噪點，

10、因為梯度對于噪點相當(dāng)敏感,,對梯度方向的投影權(quán)重方式的選取：對于梯度方向的加權(quán)投影，一般都采用一個權(quán)重投影函數(shù)，它可以是像素點的梯度幅值，梯度幅值的平方根或梯度幅值的平方，甚至可以使梯度幅值的省略形式，它們都能夠一定程度上反應(yīng)出像素上一定的邊緣信息。根據(jù)Dalal等人論文的測試結(jié)果，采用梯度幅值量級本身得到的檢測效果最佳，使用量級的平方根會輕微降低檢測結(jié)果，而使用二值的邊緣權(quán)值表示會嚴重降低效果（約為5%個單位10-4FPPW（Fa

11、lse Positives Per Window））。,塊劃分所帶來的問題： 塊與塊之間是相互獨立的么？,,分塊之間的相關(guān)性問題解決,答：通常的將某個變量范圍固定劃分為幾個區(qū)域，由于邊界變量與相鄰區(qū)域也有相關(guān)性，所以變量只對一個區(qū)域進行投影而對相鄰區(qū)域完全無關(guān)時會對其他區(qū)域產(chǎn)生混疊效應(yīng)。分塊之間的相關(guān)性問題的解決：方案一：塊重疊，重復(fù)統(tǒng)計計算方案二：線性插值權(quán)重分配,重疊塊：Datal等人在他們那篇關(guān)于HOG最為經(jīng)典的論文《H

12、istogram of Oriented Gradient for Human Detection》提出了利用塊與塊的重疊（Overlap）來解決混疊，并且取得了不錯的效果。,,在重疊方式中，塊與塊之間的邊緣點被重復(fù)根據(jù)權(quán)重投影到各自相鄰塊（block）中，從而一定模糊了塊與塊之間的邊界，處于塊邊緣部分的像素點也能夠給相鄰塊中的方向梯度直方圖提供一定貢獻，從而達到關(guān)聯(lián)塊與塊之間的關(guān)系的作用。Datal對于塊和塊之間相互重疊程度對人體目標

13、檢測識別率影響也做了實驗分析。,,利用線性插值的方法解決分塊之間聯(lián)系問題,利用線性插值的方法解決分塊之間聯(lián)系問題：有些文獻采用的不是塊與塊重疊的方法，而是采用線性插值的方法來削弱混疊效應(yīng)。這種方法的主要思想是每個Block都對臨近的Block都有影響，這種影響，我們可以以一種加權(quán)方式附加上去。,基于線性插值的基本思想，對于上圖四個方向（橫縱兩個45度斜角方向）個進行一次線性插值就可以達到權(quán)重分配目的。下面介紹一維線性插值。假設(shè)x1和x

14、2是x塊相鄰兩塊的中心，且x1<x<x2。對w（即權(quán)重，一般可直接采用該block的直方圖值即h（x））進行線性插值的方法如下式：其中b在橫縱方向取塊間隔，而在斜45度方向則可采用sqrt(2)倍的塊間隔。,,Step 4:HOG特征向量歸一化我們要對block塊內(nèi)的HOG特征向量進行歸一化。對block塊內(nèi)特征向量的歸一化主要是為了使特征向量空間對光照，陰影和邊緣變化具有魯棒性。還有歸一化是針對每一個bloc

15、k進行的，一般采用的歸一化函數(shù)有以下四種：,,在人體檢測系統(tǒng)中進行HOG計算時一般使用L2-norm，Dalal的文章也驗證了對于人體檢測系統(tǒng)使用L2-norm的時候效果最好。,,HOG最終的特征向量生成,Step 5 HOG最終的特征向量生成,HOG的應(yīng)用,HOG的應(yīng)用：主要用在object detection 領(lǐng)域，特別是行人檢測，智能交通系統(tǒng)，當(dāng)然也有文章提到把HOG用在手勢識別，人臉識別等方面。,HOG與SIFT的區(qū)別,HOG

16、與SIFT的區(qū)別,HOG和SIFT都屬于描述子，以及由于在具體操作上有很多相似的步驟，所以致使很多人誤認為HOG是SIFT的一種，其實兩者在使用目的和具體處理細節(jié)上是有很大的區(qū)別的。HOG與SIFT的主要區(qū)別如下：①　SIFT是基于關(guān)鍵點特征向量的描述。②　HOG是將圖像均勻的分成相鄰的小塊，然后在所有的小塊內(nèi)統(tǒng)計梯度直方圖。③　SIFT需要對圖像尺度空間下對像素求極值點，而HOG中不需要。④　SIFT一般有兩大步驟，第一個步驟

17、是對圖像提取特征點，而HOG不會對圖像提取特征點。,關(guān)于HOG的總結(jié),關(guān)于HOG的總結(jié)：HOG的優(yōu)點HOG的缺點對于HOG的一些啟發(fā),,HOG的優(yōu)點：HOG表示的是邊緣（梯度）的結(jié)構(gòu)特征，因此可以描述局部的形狀信息；位置和方向空間的量化一定程度上可以抑制平移和旋轉(zhuǎn)帶來的影響；采取在局部區(qū)域歸一化直方圖，可以部分抵消光照變化帶來的影響。由于一定程度忽略了光照顏色對圖像造成的影響，使得圖像所需要的表征數(shù)據(jù)的維度降低了。而且由

18、于它這種分塊分單元的處理方法，也使得圖像局部像素點之間的關(guān)系可以很好得到的表征。,,HOG的缺點：,描述子生成過程冗長，導(dǎo)致速度慢，實時性差；很難處理遮擋問題。由于梯度的性質(zhì)，該描述子對噪點相當(dāng)敏感,算法帶來的啟發(fā),算法帶來的啟發(fā)：1.算法過程層面上的啟發(fā)（1條）。2.應(yīng)用和后期處理層面的啟發(fā)（2條）。3.在算法數(shù)學(xué)機理的角度上的啟發(fā)（1條）,,感興趣的同學(xué)可以下載：http://iiec.cqu.edu.cn/sites