像素級(jí)多傳感器圖像融合新方法研究.pdf

1、像素級(jí)圖像融合是將同類(lèi)或異類(lèi)傳感器采集到的關(guān)于同一場(chǎng)景或目標(biāo)的圖像經(jīng)過(guò)一定的處理,綜合成一幅圖像,從而獲得對(duì)同一場(chǎng)景或目標(biāo)更為準(zhǔn)確、全面、可靠的圖像描述,是圖像處理與計(jì)算機(jī)視覺(jué)領(lǐng)域中多傳感器圖像信息綜合利用的重要手段。隨著圖像傳感技術(shù)的發(fā)展,像素級(jí)圖像信息融合已經(jīng)成為軍事、遙感、醫(yī)學(xué)、工業(yè)、交通等領(lǐng)域信息綜合處理的重要技術(shù)。由于圖像傳感器種類(lèi)繁多,應(yīng)用環(huán)境各不相同,所以圖像融合算法也是各種各樣。相對(duì)于國(guó)外的研究,國(guó)內(nèi)研究起步較晚,其理論

2、以及技術(shù)水平亟待提高。本文在深入分析了現(xiàn)有圖像融合理論的基礎(chǔ)上,結(jié)合目前圖像處理發(fā)展的最新理論,構(gòu)建了兩種新型圖像融合框架,提出了稀疏表示域圖像融合新方法。在這三種新型圖像融合框架下,結(jié)合不同圖像融合任務(wù)的特點(diǎn),提出了一系列新型像素級(jí)圖像融算法。另外針對(duì)高速公路智能交通系統(tǒng)的需求,本文還提出了多時(shí)相圖像融合技術(shù)和基于特征融合的車(chē)牌檢測(cè)技術(shù),解決了高速公路智能交通系統(tǒng)中監(jiān)控和信息獲取兩個(gè)重要環(huán)節(jié)的關(guān)鍵問(wèn)題。本文主要研究成果如下:
　

3、　 1.混合多分辨率分析圖像融合
　　 傳統(tǒng)像素級(jí)圖像融合算法往往只考慮一種圖像多分辨率分析方法,融合算法性能很難獲得較大的突破。這是因?yàn)槿魏我环N圖像多分辨率變換基函數(shù)的構(gòu)造都有嚴(yán)格的限制,使其在表達(dá)圖像特征時(shí)存在一定程度的局限,例如小波變換不能表達(dá)圖像邊緣信息,Curvelet變換不能很好地表達(dá)圖像細(xì)節(jié)。由于無(wú)法全面表達(dá)圖像信息,僅通過(guò)改變系數(shù)融合規(guī)則很難進(jìn)一步提高圖像融合算法性能。實(shí)際上,不同多尺度幾何分析方法之間存在互補(bǔ)

4、特性。例如小波變換適合表示源圖像中的紋理、角點(diǎn)等細(xì)小特征,而Curvelet和Contourlet變換適合表示源圖像的邊緣和線信息。基于此本文在通過(guò)大量的對(duì)比實(shí)驗(yàn)以及理論分析的基礎(chǔ)上,提出了圖像的混合多分辨率分析理論,將具有互補(bǔ)特性的不同圖像變換方法以串聯(lián)的形式結(jié)合,獲得圖像的混合多分辨率分解,并進(jìn)一步構(gòu)建了混合多分辨率分析圖像融合框架,在混合多分辨率分解域內(nèi)對(duì)分解系數(shù)進(jìn)行融合,最后通過(guò)逆變換得到融合圖像。在該框架指導(dǎo)下,我們結(jié)合小波變

5、換與Curvelet變換的互補(bǔ)特性以及靜態(tài)小波變換與非下采樣Contourlet變換的互補(bǔ)特性,實(shí)現(xiàn)了兩種基于混合多分辨率分析的圖像融合方法。仿真實(shí)驗(yàn)顯示這兩種方法都能很好地保留源圖像的細(xì)節(jié)信息,融合圖像質(zhì)量比單純使用小波、Curvelet或Contourlet得到的融合圖像質(zhì)量有明顯改進(jìn)。特別地,混合靜態(tài)小波與非下采樣Contourlet變換的多分辨率分析方法還能很好地保持圖像變換的移不變特性,使得待融合源圖像存在誤配準(zhǔn)時(shí)仍能取得高質(zhì)

6、量融合圖像。
　　 2.多聚焦圖像區(qū)域級(jí)融合
　　 多聚焦圖像融合能夠突破光學(xué)鏡頭景深的物理限制,獲得場(chǎng)景中所有目標(biāo)聚焦清晰的合成圖像,是許多機(jī)器視覺(jué)處理任務(wù),如邊緣檢測(cè)、圖像分割、目標(biāo)識(shí)別等的關(guān)鍵技術(shù)。在傳統(tǒng)多聚焦圖像融合框架下,融合規(guī)則只考慮了源圖像單個(gè)像素特征或其變換域系數(shù)的局部鄰域特征,通常是在損失部分清晰特征的情況下達(dá)到場(chǎng)景內(nèi)所有目標(biāo)的相對(duì)清晰,融合圖像很難達(dá)到最優(yōu)。且對(duì)于沒(méi)有或不能?chē)?yán)格配準(zhǔn)的源圖像,根本無(wú)法得

7、到滿意的融合結(jié)果。針對(duì)這一國(guó)內(nèi)外同行公認(rèn)的難題,本文通過(guò)模擬手工獲得理想多聚焦融合圖像的剪與貼方法,構(gòu)建了分割合并相結(jié)合的多聚焦圖像區(qū)域級(jí)融合框架。在該框架下,算法自動(dòng)選擇源圖像中最清晰的區(qū)域合成融合圖像,克服了傳統(tǒng)方法會(huì)損失源圖像清晰特征的缺點(diǎn)?；谠摽蚣?我們分別采用Normalizedcut和Watershed圖像分割算法以及圖像空間頻率和形態(tài)小波變換系數(shù)區(qū)域清晰度標(biāo)準(zhǔn)設(shè)計(jì)了兩種區(qū)域級(jí)多聚焦圖像融合算法,實(shí)驗(yàn)結(jié)果顯示這兩種算法能夠

8、得到近似“理想”的多聚焦融合圖像。另外,根據(jù)多聚焦圖像融合的特點(diǎn),本文還提出了根據(jù)圖像清晰測(cè)度直接對(duì)圖像進(jìn)行分割,巧妙地通過(guò)比較源圖像空間頻率特征來(lái)得到清晰區(qū)域與模糊區(qū)域的模板,進(jìn)一步提高了算法效率。
　　 3.稀疏表示域圖像融合
　　 稀疏表示理論是繼小波、Curvelet等多分辨率表示方法后一種新型的信號(hào)表示理論,具有稀疏的信號(hào)表示形式,更加符合人的視覺(jué)特性。圖像稀疏系數(shù)能夠更加準(zhǔn)確地表達(dá)圖像顯著信息的特點(diǎn)也使其非常

9、適合圖像融合任務(wù)。然而,稀疏表示理論與小波變換有著不同的變換形式,基于傳統(tǒng)多分辨率分解的圖像融合框架并不適用于稀疏表示。本文針對(duì)稀疏表示的特點(diǎn),并考慮到圖像融合處理局部顯著信息的特點(diǎn),提出了滑窗技術(shù),在此基礎(chǔ)上提出了稀疏表示域圖像融合方法。在新的圖像融合方法指導(dǎo)下,我們首先提出了多聚焦圖像稀疏表示域的融合算法,并對(duì)其進(jìn)一步擴(kuò)展實(shí)現(xiàn)圖像恢復(fù)融合,在源圖像受噪聲干擾時(shí),仍能取得非常好的去噪和融合結(jié)果。另外經(jīng)理論分析發(fā)現(xiàn),當(dāng)進(jìn)行多模圖像融合時(shí)

10、,不同的源圖像可能分解到過(guò)完備稀疏字典不同的子集上,使得稀疏系數(shù)的融合規(guī)則難于設(shè)計(jì)。對(duì)此本文提出利用同步正交匹配追蹤的圖像稀疏表示算法來(lái)保證異質(zhì)圖像的稀疏表示系數(shù)一一對(duì)應(yīng)。大量的仿真比較實(shí)驗(yàn)結(jié)果顯示基于稀疏表示的圖像融合方法能夠大幅提高融合圖像質(zhì)量。
　　 壓縮傳感是圖像稀疏表示理論的重要應(yīng)用之一,其一經(jīng)提出就受到了國(guó)內(nèi)外學(xué)者的高度關(guān)注,2007年被美國(guó)科技評(píng)論評(píng)為年度十大科技進(jìn)展之一。該理論指出在稀疏約束下,可壓縮的信號(hào)/圖像

11、可從遠(yuǎn)低于Nyquist標(biāo)準(zhǔn)的壓縮采樣數(shù)據(jù)中精確地恢復(fù)出來(lái)。本文充分結(jié)合遙感圖像的成像原理,光照特性以及傳感器的光譜反應(yīng)特性,構(gòu)造了遙感圖像壓縮傳感模型,將遙感圖像融合問(wèn)題轉(zhuǎn)化為具有線性約束的信號(hào)恢復(fù)問(wèn)題,并在圖像稀疏表示域圖像融合框架下,提出了一種基于壓縮傳感理論的稀疏表示域遙感圖像融合算法。在Quickbrid衛(wèi)星和IKONOS衛(wèi)星數(shù)據(jù)上的仿真實(shí)驗(yàn)證明該方法能夠得到比傳統(tǒng)方法更好的融合圖像。
　　 4.圖像信息融合技術(shù)在智能

12、交通監(jiān)控系統(tǒng)中的應(yīng)用
　　 智能交通系統(tǒng)是從根本上解決日益嚴(yán)重的交通問(wèn)題的一個(gè)新型技術(shù)手段,它可以為交通部門(mén)提供及時(shí)、準(zhǔn)確的交通信息,從而最大效能的發(fā)揮交通管理系統(tǒng)在交通監(jiān)視、交通控制等方面的作用。然而與我國(guó)高速公路建設(shè)的快速發(fā)展相比,智能交通系統(tǒng)的發(fā)展則相對(duì)落后。隨著日益嚴(yán)重的地面交通問(wèn)題的出現(xiàn),開(kāi)發(fā)穩(wěn)定有效的智能交通系統(tǒng)勢(shì)在必行。智能交通系統(tǒng)首要任務(wù)就是視頻監(jiān)控,然而由于夜間能見(jiàn)度的不足,監(jiān)控?cái)z像機(jī)不能采集到足夠的信息,這給

13、視頻監(jiān)控帶來(lái)了一定的難題。對(duì)此本文設(shè)計(jì)了一種梯度域多時(shí)相圖像融合方法,將夜間圖像與白天背景圖像進(jìn)行融合,提高了夜間圖像中背景的質(zhì)量,改善了高速公路夜間視頻監(jiān)控的能力。交通信息的獲取是交通信息服務(wù)系統(tǒng)的重要組成部分,其核心為運(yùn)動(dòng)汽車(chē)車(chē)牌的自動(dòng)檢測(cè)與識(shí)別。針對(duì)傳統(tǒng)算法檢測(cè)率不高,后續(xù)處理壓力較大的問(wèn)題,本文提出了基于特征融合的車(chē)牌檢測(cè)技術(shù),同時(shí)考慮了車(chē)牌區(qū)域擴(kuò)展Haar特征和邊緣方向直方圖特征,使得車(chē)牌檢測(cè)率有顯著提高,仿真實(shí)驗(yàn)證實(shí)了本文算