視覺感知的稀疏編碼理論及其應(yīng)用研究.pdf

1、在大腦接收的來(lái)自外部世界的感知信息中，80％以上是通過(guò)視覺系統(tǒng)進(jìn)行加工處理的。最近二十多年來(lái)，視覺信息加工的機(jī)制是心理學(xué)、神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)等學(xué)科研究的重大課題之一。人們廣泛認(rèn)為，生物視覺系統(tǒng)在長(zhǎng)期進(jìn)化和發(fā)展中，自適應(yīng)于自然環(huán)境中輸入刺激的統(tǒng)計(jì)特性，但是生物視覺系統(tǒng)是怎樣對(duì)外界環(huán)境的刺激模式做出響應(yīng)?Attneave，Barlow和Olshausen & Field等從信息論出發(fā)，發(fā)展了稀疏編碼理論，認(rèn)為在視覺系統(tǒng)V1區(qū)神經(jīng)細(xì)胞的處理

2、過(guò)程中，一個(gè)重要的約束就是編碼的稀疏性，從而利用較少的資源盡可能有效地編碼更多的信息。稀疏編碼理論在視神經(jīng)細(xì)胞的響應(yīng)特性和外部環(huán)境刺激的統(tǒng)計(jì)特性之間建立一種科學(xué)的數(shù)量聯(lián)系，逐漸成為了一種有效理解人類神經(jīng)系統(tǒng)信息加工機(jī)制的理論工具，是國(guó)際神經(jīng)計(jì)算，神經(jīng)網(wǎng)絡(luò)和人工智能方面的一個(gè)研究熱點(diǎn)。 本論文以稀疏編碼模型和理論為基礎(chǔ)，從模擬大腦信息處理方式出發(fā)，在理論上進(jìn)行創(chuàng)新性的探索，并將模型和理論成功地應(yīng)用于計(jì)算機(jī)視覺的圖像檢索領(lǐng)域中。取得

3、的主要成果包括： 第一，面向知覺任務(wù)的稀疏編碼模型最近的心理學(xué)和生理學(xué)研究成果表明，簡(jiǎn)單細(xì)胞的信息處理過(guò)程并不僅僅是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的過(guò)程，它還受知覺任務(wù)的影響，本文在Olshausen和Field提出的數(shù)據(jù)驅(qū)動(dòng)的稀疏編碼模型基礎(chǔ)上，設(shè)計(jì)了面向知覺任務(wù)的稀疏編碼模型(簡(jiǎn)稱TOSC)，TOSC模型探索了什么信息應(yīng)該被編碼的問(wèn)題，也就是What-問(wèn)題。在從輸入空間到系數(shù)空間的編碼過(guò)程中，為了提高編碼系數(shù)空間的可分性，我們引入了模式分類任

4、務(wù)的監(jiān)督信息一判別距離，結(jié)合稀疏編碼的約束條件形成新的代價(jià)函數(shù)(Cost function)，然后，優(yōu)化學(xué)習(xí)得到面向模式分類任務(wù)的稀疏編碼模型；通過(guò)二分類任務(wù)(自然風(fēng)景和建筑物的分類)的實(shí)驗(yàn)，我們驗(yàn)證了面向知覺任務(wù)稀疏編碼模型的有效性。 第二，雙層反饋稀疏編碼模型最近的研究成果表明，初級(jí)視皮層的加工過(guò)程遠(yuǎn)非簡(jiǎn)單的局部特征抽取，相反，它的加工是動(dòng)態(tài)的、交互的和可塑的，它的加工過(guò)程受高級(jí)皮層的視覺推理和任務(wù)以及行為經(jīng)驗(yàn)的影響。本文擴(kuò)

5、展了單層的基于ICA算法的稀疏編碼模型，在多層感知機(jī)的基礎(chǔ)上，我們提出了一個(gè)帶反饋機(jī)制的雙層稀疏編碼模型(簡(jiǎn)稱TLF-SC)，在TLF-SC模型中，神經(jīng)細(xì)胞的響應(yīng)除了受稀疏編碼準(zhǔn)則的影響，即保持神經(jīng)細(xì)胞響應(yīng)的統(tǒng)計(jì)獨(dú)立性，同時(shí)它還受到反饋信號(hào)的調(diào)節(jié)，使得神經(jīng)細(xì)胞的編碼能更加適應(yīng)于高層的知覺任務(wù)。我們的仿真結(jié)果表明，TLF-SC模型的ICL神經(jīng)元既表現(xiàn)出類似V1區(qū)簡(jiǎn)單細(xì)胞感受野的特性，也表現(xiàn)出對(duì)知覺任務(wù)的自適應(yīng)性，同時(shí)TLF-SC模型還能取

6、得比較好的分類性能。 第三，基于注意機(jī)制的稀疏編碼模型我們研究發(fā)現(xiàn)對(duì)作用于同一個(gè)輸入刺激的簡(jiǎn)單 細(xì)胞群來(lái)說(shuō)，激活的簡(jiǎn)單細(xì)胞的比例仍然比較高，約占70％。另外，神經(jīng)系統(tǒng)計(jì)算資源有限，外部輸入刺激也不是同等重要，所以我們?cè)谟行Ь幋a框架中引入了數(shù)據(jù)驅(qū)動(dòng)的注意選擇機(jī)制，提出了基于注意機(jī)制的稀疏編碼模型(AGSC模型)。我們對(duì)AGSC模型進(jìn)行了仿真和驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，AGSC能進(jìn)一步的提高稀疏編碼模型的稀疏性，減少對(duì)神經(jīng)系統(tǒng)資源

7、的需求，同時(shí)，它能過(guò)濾輸入刺激中的次要信息，而保留輸入刺激中的主要信息。 第四，ICA系數(shù)紋理特征紋理特征是基于內(nèi)容的圖像檢索(簡(jiǎn)稱CBIR)中應(yīng)用最廣泛的低層視覺特征之一。本文通過(guò)稀疏編碼模型從紋理圖像集中學(xué)習(xí)到統(tǒng)計(jì)的紋理基，這種紋理基具有類似于Gabor濾波器的響應(yīng)特性，而且它的響應(yīng)系數(shù)具有良好的統(tǒng)計(jì)獨(dú)立性。基于這種紋理基的系數(shù)，我們提出了ICA系數(shù)紋理特征表示方法和抽取算法。在Brodatz紋理庫(kù)和VisTex紋理庫(kù)中的實(shí)