一種新的視皮層顏色編碼理論及其視覺應用.pdf

1、顏色判別與感知對于正常的人類視覺系統(tǒng)來說，是非常簡單的任務，但是對顏色編碼理論與方法的研究遠遠沒有使得機器達到人類視覺系統(tǒng)的智能水平，同時對顏色視覺神經元基礎的研究也遠遠沒有達到人類對顏色感知的能力。目前，顏色視覺研究已成為神經科學與計算機視覺中的難點，主要體現在:其一，從神經科學角度來說，一直以來神經生理學實驗僅僅停留在對視網膜錐體信號的認識上，難以捕獲視皮層顏色神經元的行為規(guī)律，因此無法解釋視皮層由底層到高層的色調選擇性、顏色判別與

2、顏色感知效應:其二，從計算機視覺角度來說，顏色特征的提取與表征既需要解決目標/場景在不同光照等外界條件引起的外觀顏色變化，又需要使得顏色描述子具有區(qū)分不同目標/場景類別的判別力。近年來，隨著科學技術的發(fā)展，顏色視覺生物機制的研究有了新的證據與結論，這些新的認識促進了顏色視覺的發(fā)展，對解決顏色的視覺難點具有重要意義和價值。
　　 基于此，本論文以近年來神經科學研究成果為生物依據，重點關注視皮層顏色信號的傳輸與處理，特別是顏色神經元

3、的空間和顏色屬性，研究并分析了顏色神經元的對立性、選擇性與層次性，及其編碼視覺刺激的能力。重點研究了如何利用顏色神經元的空間感受野屬性完成對自然圖像的顏色表面與顏色邊緣的有效編碼，以及如何將底層顏色編碼擴展到高層顏色編碼，以實現不同層次上的顏色視覺系統(tǒng)，展開對真實世界場景中大尺度數據的視覺應用研究，最終顯式地建立計算模型單元與神經元之間定性與定量的關聯(lián)，豐富了視皮層顏色編碼理論，是對該理論的一種科學性的描述、分析與解釋，從而驗證了提出的

4、顏色編碼理論更符合人類視皮層顏色視覺的生物機理。
　　 本論文提出了一種新的視皮層顏色編碼理論，分別展開了從算法、應用到神經元三個層面的研究。具體地，本論文的主要研究分為三條主線:
　　 (1)第一條主線，從神經生理學出發(fā)，利用視皮層神經元對顏色和空間信息響應規(guī)律的共性與特性，提出了一個新的V1皮層顏色編碼理論，主要包括兩個顏色編碼算法:
　　 具有顏色選擇性的表面編碼根據Single-Opponent(SO)神

5、經元對低頻信號響應，及其弱方向選擇性，本論文利用有向線性濾波器對空間信息的編碼能力，提出了一種新的不可分離的空間-顏色對立算子，將對圖像的空間帶通濾波轉化為濾波器的激活與抑制子單元分別與對立顏色成分的線性加權和，完成SO簡單單元的建模。盡管本論文提出的顏色表面編碼方法并不是第一次用顏色對立信息提取顏色表面特征，但與先前提出的工作相比，創(chuàng)新點在于:第一，對顏色表面編碼的主要動機是模擬視皮層顏色選擇神經元的弱空間屬性與強顏色屬性。本論文的工

6、作考慮了顏色神經元的空間選擇性，與之前的工作將顏色神經元建模為無向算子（實際是類似視網膜神經元結構）相比，更符合視皮層顏色神經元的感受野形態(tài)結構;第二，首次將非線性歸一化機制用于編碼顏色神經元的增益控制，增強了顏色選擇性，并抑制了模型單元響應。實驗表明，提出的算法能夠提取更為豐富的圖像顏色興趣點，以及顯著性區(qū)域。
　　 具有空間-顏色選擇性的顏色邊緣編碼根據視皮層Double-Opponent(DO)神經元對顏色邊緣的編碼能力，

7、本論文在基于顏色表面編碼理論的基礎上，提出一種基于空間濾波的顏色邊緣編碼理論。從對區(qū)域到對邊緣檢測的問題轉換為對SO簡單單元的空間濾波問題，并且濾波算子具有中央-周圍結構的激活與抑制子單元，從而構建具有空間與顏色同時對立的DO簡單單元，編碼具有空間-顏色選擇性的邊緣特征。進一步利用能量機制，計算一對相反極性DO簡單單元的能量響應，從而構建相位不變（顏色對比度反轉不變）的DO復雜單元。盡管本論文提出的顏色邊緣編碼方法并不是第一次將顏色對立

8、信息融入到空間濾波中，但與先前提出的工作相比，創(chuàng)新點在于:第一，該編碼理論模擬了DO神經元的空間與顏色屬性，同時形成了顏色與空間選擇性與對立性，使得顏色邊緣有更強的判別能力，特別是通過能量機制區(qū)分了DO簡單單元與復雜單元在相位選擇性上的差異，最終完成顏色對比度反轉不變的顏色邊緣編碼;第二，該理論建立在序列的遞歸的顏色表面編碼基礎上，體現了編碼理論由簡單到復雜的層次特性。理論上構建DO模型單元的輸入特征與視皮層中大量存在的神經元相符。相比

9、于現有的顏色描述子通常在不同的顏色空間中濾波完成邊緣信息編碼，本論文提出的編碼理論可以看作是一種顏色邊緣的二階算子，除了能獲取豐富的顏色局部對比度和紋理信息外，進一步體現了顏色神經元完成不同功能的層次性，即從顏色表面，到顏色邊緣，最后到顏色對比度不變的邊緣編碼方式，與神經科學的生理證據一致。更重要的是，從理論上說，該顏色編碼方式適用于任意一種基于圖像梯度的算法。
　　 (2)第二條主線，從視覺應用的角度出發(fā)，針對不同皮層區(qū)域所編

10、碼的特征復雜性不同，研究視皮層“what”通道自底向上的視覺信息處理機制，將V1皮層的顏色編碼理論擴展到高層V4/IT區(qū)域的編碼理論，面向不同難度的視覺任務提出了不同層次的顏色視覺系統(tǒng)，主要包括三個顏色視覺系統(tǒng):
　　 V1皮層:基于顏色紋理基元圖的輪廓檢測標準輪廓檢測方法廣泛使用基于高斯導數的亮度通道、紋理通道、顏色通道等。然而，自然圖像中的顏色豐富多樣，紋理特征中同樣包含了豐富的顏色信息。根據視皮層邊緣/輪廓編碼的生物機理，

11、即V1神經元主要對邊緣/輪廓刺激的響應，并通過線性合并的方式完成對不同視覺要素的整合，本論文利用V1皮層的顏色編碼理論，提出了一種多尺度多方向顏色紋理基元圖的編碼方法，完成顏色紋理梯度的計算，利用邏輯回歸算法學習不同視覺要素之間的合并權重，最終獲取每個像素點的輪廓概率。本方法的創(chuàng)新點在于:紋理特征的編碼考慮了顏色表面信息，豐富紋理信息的表征，有利于其外觀建模。相比于傳統(tǒng)的紋理與顏色分離表示的特征而言，本論文提出的輪廓檢測系統(tǒng)更符合人類視

12、皮層V1神經元對紋理的編碼屬性，更好地適應顏色與紋理同時變化的場景圖像。
　　 V1皮層:全局顏色特征提取的場景分類神經科學研究發(fā)現場景感知僅僅需要圖像的全局特征編碼，不需要目標細節(jié)的特征提取或場景分割，因此可以看做是神經元在V1皮層完成的特征編碼;此外，相比于灰度級或給予錯誤顏色信息的場景圖像，具有正確顏色信息的場景分類精度更高。借鑒Gabor濾波器獲取場景全局GIST特征的能力，本論文利用V1皮層的顏色編碼理論，提出顏色表面

13、與顏色邊緣特征的場景識別系統(tǒng)。本方法的創(chuàng)新點在于，借鑒了神經科學對場景分類以及顏色對場景感知重要性的研究成果，為場景識別提供了一個更為一般的場景顏色全局特征編碼的視覺框架。
　　 V4/IT皮層:顏色目標識別本論文前兩個顏色視覺系統(tǒng)都是基于V1皮層的顏色編碼理論的應用研究，隨著視皮層“what“通道的層次逐漸升高，皮層神經元編碼特征逐漸復雜，最終達到V4/IT皮層完成具有位置和尺度不變的色調選擇與顏色判別，是復雜目標識別的神經元

14、基礎。借鑒形狀通道的層次傳輸仿生目標識別模型HMAX中底層V1到高層IT之間的連接方式，本論文在V1視皮層編碼的基礎上，將從V1到V4/IT皮層的層次連接計算方式推廣到顏色信息，提出顏色表面與顏色邊緣編碼的前饋層次視覺系統(tǒng)，從大量自然場景圖像中學習具有豐富空間與顏色選擇性的原型模板，為V4/JT皮層的模板匹配和目標識別奠定了基礎。本方法的創(chuàng)新點在于，完善了視皮層顏色編碼理論的層次性，為目標識別提供了一個更為全面的外觀建?？蚣堋?br>　

15、　 (3)前兩條研究主線分別對顏色視覺的理論與方法及其視覺應用進行了研究，可見，視皮層是研究顏色編碼的重要區(qū)域，一個好的顏色編碼理論及模型是圖像處理和計算機視覺應用的重要基礎。本論文另一個重要研究內容是利用該理論模型統(tǒng)一神經元數據，從神經元角度完成對理論模型的科學性描述分析與解釋。因此，本論文的第三條研究主線是在前面兩條研究內容的基礎上，提出一種新的對顏色編碼理論的描述方法，通過對比計算模型單元與神經元響應，建立兩者之間的顯式關聯(lián)，驗

16、證理論與模型的可靠性及科學性，主要包括三種比較:
　　 模型單元的空間-顏色選擇性與V1神經元的比較區(qū)分不同顏色神經元的方式之一就是測量不同視覺要素（空間頻率、方向、相位和顏色）對模型單元調諧曲線的影響。本論文設計與電生理實驗相似的顏色和空間視覺刺激模式，如等亮度顏色光柵，計算模型單元對刺激的響應規(guī)律，同時確定該模型單元的最優(yōu)刺激模式，與神經元數據比較，驗證模型解釋神經元空間和顏色屬性的能力，豐富了該顏色編碼理論在V1皮層的科學

17、描述。
　　 模型單元的色調選擇性與V4/IT神經元的比較底層V1顏色神經元主要對特定波長的顏色具有選擇性，V4/IT皮層神經元呈現狹窄的色調選擇性，從而完成顏色判別任務。本論文從大量自然場景圖像中學習具有空間和顏色選擇性的視覺字典，提出一種基于取樣的模板匹配方法計算模型單元對顏色測試刺激的響應，驗證模型解釋神經元的色調選擇性的能力，豐富了該顏色編碼理論在V4/IT皮層的科學描述。
　　 顏色選擇性的空間色調圖及其亮度不

18、變性與V1N4/IT神經元的比較根據顏色選擇性神經元對不同顏色刺激的響應空間分布遵循色調環(huán)的排列方式，本論文提出一種基于主成分分析的模型單元響應軌跡分布求解方法，主成分分量所在低維空間近似描述了神經元的響應軌跡。與內源光學成像實驗比較，驗證了視皮層色調圖的存在，模型單元對偏好顏色刺激響應在空間位置上越接近，則輸入顏色刺激的色調就越接近。通過改變同一種色調的亮度值，計算模型單元的顏色或色調選擇性變化趨勢，驗證了顏色選擇神經元響應具有亮度不