圖像重建畢業(yè)論文

1、<p>　　圖像超分辨率重建技術(shù)研究</p><p><b>　　摘 要</b></p><p>　　超分辨率圖像重建是指將一系列各自包含一部分不同圖像細(xì)節(jié)的相似低分辨率圖像通過一定方法融合成一幅高分辨率圖像的處理方法。對于一定的數(shù)字成像系統(tǒng)，通過超分辨率圖像重建可以得到高質(zhì)量的圖像而不需要提高系統(tǒng)的硬件性能，因此它可以被廣泛應(yīng)用于圖像處理的各種領(lǐng)域中

2、。</p><p>　　超分辨率圖像重建算法可以分為兩大類，即頻域算法和空域算法。頻域算法是早期的超分辨率重建算法，只能對全局位移的圖像序列進(jìn)行處理，空域算法使用通用的觀察模型，具有更好的適應(yīng)性和重構(gòu)效果，是目前的主要研究方向。其中POCS算法利用投影至凸集的原理進(jìn)行圖像重建，算法直觀而且有效，是最有前途的超分辨率重建算法之一。</p><p>　　在序列圖像超分辨率重建算法中，本文對PO

3、CS方法做了比較細(xì)致的研究，針對用常規(guī)POCS算法重建的高分辨率圖像中出現(xiàn)的導(dǎo)致圖像邊緣質(zhì)量下降的現(xiàn)象,分析了圖像邊緣模糊形成的原因，對算法進(jìn)行了改進(jìn)，提出了邊緣保持的POCS算法，用基于梯度的插值算法來獲取POCS的初始值，實(shí)驗(yàn)結(jié)果表明，該方法能夠得到較好的視覺效果，明顯地提高重建圖像的邊緣質(zhì)量。</p><p>　　關(guān)鍵詞：超分辨率復(fù)原，凸集投影，邊緣保持</p><p><b&

4、gt;　　ABSTRACT</b></p><p>　　Super-resolution image restoration is a method that combines multiple similar but not identical low-resolution images into a higher resolution single image. In a particular d

5、igital imaging system,using super-resolution methods can help to obtain higher quality images without up grading system hard- ware,therefore super-resolution techniques can be applied to vast image-processing areas.</

6、p><p>　　Super-resolution techniques can be divided into two main categories:frequency domain methods and spatial domain methods. Frequency domain methods are earlier super-resolution methods,they can only deal

7、with image sequences that only translational motions are allowed. Spatial methods use general observation models,they have better adaptability and performance. In POCS method,projection onto convex sets theories is emplo

8、yed to realize super-resolution restoration,it is intuitive in theoretical and</p><p>　　In sequence LR images reconstruction,the research work in this paper focuses on POCS,analyzing the factors which influe

9、nce the results of super resolution. According to the traditional super-resolution image reconstruction algorithm led to the blur edge of reconstructed high image. With an analysis of the reason which led to the blur edg

10、e of high-resolution reconstruction image,a new image interpolation based on gradient is proposed,it kept large information of the image edge. Use this new image</p><p>　　Key words：super-resolution restore,

11、projection onto convex sets, edge maintain </p><p><b>　　目 錄</b></p><p><b>　　中文摘要Ⅰ</b></p><p>　　ABSTRACTⅡ</p><p><b>　　1緒論1</b>&l

12、t;/p><p>　　1.1 研究背景及研究意義1</p><p>　　1.2 圖像超分辨率重建的應(yīng)用2</p><p>　　1.3 本論文的主要研究內(nèi)容及其完成的工作3</p><p>　　2 超分辨率圖像重建算法研究4</p><p><b>　　2.1 概述4</b></p>

13、;<p>　　2.2 頻域方法5</p><p>　　2.3 空域方法6</p><p>　　2.3.1 非均勻空間樣本插值算法6</p><p>　　2.3.2 迭代反投影算法7</p><p>　　2.3.3 凸集投影算法7</p><p>　　2.3.4 最大后驗(yàn)概率估計(jì)和最大似然估計(jì)算法

14、7</p><p>　　2.3.5 混合MAP/POCS方法8</p><p>　　2.4常見的圖像重構(gòu)算法的比較8</p><p>　　3 POCS算法及其改進(jìn)算法的實(shí)現(xiàn)11</p><p>　　3.1凸集投影算法11</p><p>　　3.1.1用插值方法構(gòu)造參考幀12</p><

15、p>　　3.1.2 運(yùn)動估計(jì)12</p><p>　　3.1.3基于點(diǎn)擴(kuò)散函數(shù)的修正13</p><p>　　3.1.4 POCS圖像重建算法步驟13</p><p>　　3.2保留邊緣信息的POCS超分辨率圖像重建算法14</p><p>　　4 試驗(yàn)結(jié)果與分析16</p><p>　　4.1試驗(yàn)低分

16、辨率圖像的生成16</p><p>　　4.2改進(jìn)的POCS算法重建結(jié)果及其分析17</p><p><b>　　5 結(jié)論18</b></p><p>　　5.1 論文總結(jié)18</p><p>　　5.2 工作展望18</p><p><b>　　參考文獻(xiàn)20</b&g

17、t;</p><p><b>　　1 緒論</b></p><p>　　1.1研究背景及研究意義 </p><p>　　伴隨著計(jì)算機(jī)技術(shù)、信息處理技術(shù)和視覺通信技術(shù)的高速發(fā)展，人類進(jìn)入了一個全新的信息化時代。人們所能能夠獲取的知識量呈爆炸式的增長，因此迫切的要求信息處理技術(shù)不斷的完善和發(fā)展，以便能夠?yàn)槿藗兲峁└臃奖?、快捷和多樣化的服?wù)。

18、數(shù)字圖像及其相關(guān)處理技術(shù)是信息處理技術(shù)的重要內(nèi)容之一，在很多領(lǐng)域得到了越來越廣泛的應(yīng)用。對于數(shù)字圖像在一些情況下一般要求是高分辨圖像，如：醫(yī)學(xué)圖像要求能夠顯示出那些人眼不能辨別出的細(xì)微病灶；衛(wèi)星地面要求衛(wèi)星圖像至少能夠辨別出人的臉相甚至是證件；有些檢測識別控制裝置需要足夠高分辨率的圖像才能保證測量和控制的精度。因此提高圖像分辨率是圖像獲取領(lǐng)域里追求的一個目標(biāo)。</p><p>　　1970年以來，CCD和CMOS

19、圖像傳感器廣泛的被用來獲取數(shù)字圖像，在很多的應(yīng)用場合，需要獲取高分辨圖像，提高圖像分辨率最直接的方法是提高成像裝置的分辨力，但是受傳感器陣列排列密度的限制，提高傳感器的空間分辨率越來越難，通常采用的方法是減少單位像素的尺寸（即增加單位面積內(nèi)的像素?cái)?shù)量），對于數(shù)字?jǐn)z機(jī)，比如CCD，就是減少其傳感單元的尺寸從而提高傳感器的陣列密度，使其能夠分辨出更多場景細(xì)節(jié)。但是這樣將導(dǎo)致數(shù)字?jǐn)z像機(jī)的價格大幅度提高。技術(shù)工藝的制約也限制了圖像分辨率的進(jìn)一步

20、提高。事實(shí)上隨著像素尺寸的減少，每個像素接收到的光照強(qiáng)度也隨之降低，傳感器自身的噪聲將嚴(yán)重影響圖像的質(zhì)量，造成拍攝的影像信噪比不高，因此，像素尺寸不可能無限制的降低，而是有下限的，當(dāng)CCD傳感器陣列密度增加到一定程度時，圖像的分辨率不但不會提高反而會下降，這是因?yàn)楫?dāng)CCD陣列密度增加到一定的程度即傳感單元變得相當(dāng)小時，將使產(chǎn)生的圖像光電信號變得非常微弱而被傳感單元的噪聲嚴(yán)重污染甚至淹沒從而導(dǎo)致圖像退化。其他使圖像降質(zhì)退化的因素還有將場景

21、物體的運(yùn)動模糊、系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)模糊、采樣量化模糊以及電路噪聲等。所有這些制約圖像分辨率</p><p>　　解決這一問題的一個實(shí)用而有效的方法就是圖像的超分辨率重構(gòu)技術(shù)，其不需要昂貴的圖像獲取設(shè)備，只需要通過計(jì)算機(jī)軟件的處理就能獲得更高分辨率的圖像。因此，用該方法來提高圖像分辨率所需要的代價很低。</p><p>　　1.2 圖像超分辨率重建的應(yīng)用</p><p>

22、;　　由于超分辨率重建技術(shù)在一定條件下，可以克服圖像系統(tǒng)內(nèi)在分辨率的限制，提高被處理圖像的分辨率，因而超辨率技術(shù)的應(yīng)用正在快速的增長，在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具都有十分重要的應(yīng)用。例如：</p><p>　　(1) 在數(shù)字電視(DTV)向高清晰度電視(HDTV)過度階段，僅有部分電視節(jié)目會以HDTV的形式播出，不少節(jié)目采用的是DTV的形式。因此，可以利用超分辨率重建技術(shù)將DTV信號轉(zhuǎn)化為與HDTV接收機(jī)

23、相匹配的信號，提高電視節(jié)目的兼容性。</p><p>　　(2) 在采集軍事與氣象遙感圖像時，由于受到成像條件與成像系統(tǒng)分辨率的限制，不可能獲得清晰度很高的圖像,而通過利用超分辨率重建技術(shù)，在不改變衛(wèi)星圖像探測系統(tǒng)的前提下，可實(shí)現(xiàn)高于系統(tǒng)分辨率的圖像觀測。在公共安全領(lǐng)域，超分辨圖像重建技術(shù)也有著很廣闊的應(yīng)用，超分辨率圖像重建技術(shù)可以利用普通監(jiān)視錄像資料，重建出高清晰的目標(biāo)圖像，從而有利于相關(guān)人員的辨識。</

24、p><p>　　(3) 在醫(yī)學(xué)成像系統(tǒng)中（如CT、MRI和超聲波儀器等），可以用超分辨率重建技術(shù)來提高圖像質(zhì)量，對病變目標(biāo)進(jìn)行仔細(xì)地檢測，在醫(yī)學(xué)檢測中往往需要通過層析成像技術(shù)識別并確定出病體的精確位置及詳細(xì)情況：如陰影的邊緣、病體占位的大小及位置等。由于硬件設(shè)備及現(xiàn)有的成像技術(shù)的限制，我們還不能夠獲取滿足更高要求的高清晰圖像。由于層析成像技術(shù)的特殊機(jī)理，超分辨率圖像重建技術(shù)可以在該領(lǐng)域獲得重要的應(yīng)用。</p&g

25、t;<p>　　(4) 在銀行、證劵等部門的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索。</p><p>　　(5) 可以將超分辨率重建技術(shù)用于圖像壓縮。平時存儲或傳輸?shù)头直媛实膱D像信息，當(dāng)有不同需要時，再利用超分辨率重構(gòu)技術(shù)獲得不同分辨率的圖像和視頻。此外，超分辨率圖像重建技術(shù)有可能使圖像實(shí)現(xiàn)從檢出水平(detecti

26、onl evel)向識別水平(recognitionlevel)的轉(zhuǎn)化，或更進(jìn)一步實(shí)現(xiàn)向細(xì)辨水平(identification level)的轉(zhuǎn)化。超分辨率圖像重建技術(shù)可以提高圖像的識別能力和識別精度。</p><p>　　(6) 在資源與環(huán)境的衛(wèi)星遙感應(yīng)用領(lǐng)域中，地球資源衛(wèi)星的發(fā)射是為了獲取多光譜圖像，通過對這些圖像進(jìn)行一系列的處理，可以獲取不同的有用信息。例如：植被的分類及分布、區(qū)域地理結(jié)構(gòu)以及水資源的分布面

27、積等信息。但是由于現(xiàn)有成像技術(shù)的限制，圖像的分辨率限制了圖像的判別和定位的精度。利用超分辨率圖像重建技術(shù)對這些圖像進(jìn)行重建，從而提高所需資料的獲取精度。</p><p>　　總之，隨著超分辨率技術(shù)的發(fā)展和完善，其應(yīng)用領(lǐng)域會繼續(xù)擴(kuò)大，圖像超分辨率處理技術(shù)有著較為廣闊的發(fā)展空間。</p><p>　　1.3 本論文的主要研究內(nèi)容及其完成的工作</p><p>　　本文主

28、要研究了灰度圖象超分辨率重構(gòu)算法，考慮了圖象退化模型已知和未知，有噪聲和無噪聲等情況，對于提出的每個算法都進(jìn)行了實(shí)驗(yàn)結(jié)果分析。在深入研究現(xiàn)有圖像超分辨率處理技術(shù)的基礎(chǔ)上，希望提出一些新的思想，引入一些新的方法與途徑，來提高超分辨率復(fù)原圖像的質(zhì)量，或者提高既有算法的性能和效率。在論文中首先建立超分辨率復(fù)原的降質(zhì)退化模型，用軟件的方法生成低分辨率觀測序列圖像，并用基于圖像配準(zhǔn)的運(yùn)動參數(shù)估計(jì)方法對觀測序列圖像的運(yùn)動信息進(jìn)行估計(jì)。分析并比較時間

29、域以及空間域的各種超分辨率算法的性能，選取一種較為直接而且有效的算法作為本課題研究的主要算法。</p><p>　　第二章為已有的各種圖象超分辨率重構(gòu)算法的綜述。首先介紹了圖象退化的模型和圖象超分辨率重構(gòu)研究的概況，然后分頻域和空間域兩種情況介紹了己有的各種圖象超分辨率重構(gòu)算法，空間域方法主要包括：非均勻空間樣本插值、迭代反投影、凸集投影、最大后驗(yàn)概率估計(jì)、最大似然估計(jì)以及混合MAP/POCS方法等。并且從算法復(fù)

30、雜度以及圖像重構(gòu)的效果等幾個方面對頻域算法與空間域算法進(jìn)行了比較。同時對目前最熱門的兩種算法：MAP算法以及POCS算法進(jìn)行了比較。</p><p>　　第三章主要是對目前最熱門的序列圖像重構(gòu)算法的POCS算法進(jìn)行了比較深入的研究。目前在POCS超分辨率圖像重構(gòu)的實(shí)現(xiàn)中在初值的選取時普遍采用的是雙線性插值算法。雙線性插值是將原始圖像上的各點(diǎn)首先對應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上進(jìn)行插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域

31、，這是造成邊緣模糊的主要原因。因而就想到了要對圖像的邊緣點(diǎn)進(jìn)行特殊的處理即用保持原始圖像的邊緣信息進(jìn)行圖像插補(bǔ)的方法代替雙線性插值來求解POCS算法中高分辨率圖像的初始估計(jì)，然后在此基礎(chǔ)上進(jìn)行POCS算法，并在MATLAB開發(fā)平臺上進(jìn)行仿真試驗(yàn)。</p><p>　　第四章主要是對上一章所提出的方法進(jìn)行試驗(yàn)仿真，仿真結(jié)果證明了基于邊緣保持的POCS算法的可行性以及有效性。</p><p>

32、　　第五章給出了一些結(jié)論以及未來要做的工作。</p><p>　　2 超分辨率圖像重建算法研究</p><p>　　2.1 超分辨率技術(shù)概述</p><p>　　超分辨率圖像復(fù)原是將多幅圖像的退化因素去除后再融合，這需要解決圖像的運(yùn)動估計(jì)、退化圖像去模糊和去噪聲以及對還原后的圖像信息進(jìn)行融合等，超分辨率圖像復(fù)原是一個病態(tài)問題，主要表現(xiàn)在：第一，圖像在獲取的過程中，

33、噪聲嚴(yán)重，觀測圖像與原始圖像嚴(yán)重不一致，無法進(jìn)行估計(jì)，造成無解。第二，由于幅員的過程中，約束條件不充分得到的解不是唯一的；第三，圖像獲取過程中的噪聲增加了圖像的不確定性，造成解的不連續(xù)性。超分辨復(fù)原需要處理以下幾個問題：</p><p>　?。?）運(yùn)動估計(jì)：估計(jì)低分辨率圖像序列的信息在待恢復(fù)HR圖像中的對應(yīng)位置，確定由低分辨率圖像的子像素運(yùn)動所形成的位移算子。</p><p>　　（2）幾

34、何形變：根據(jù)運(yùn)動估計(jì)結(jié)果，將低分辨率圖像信息通過插值和幾何形變還原到HR圖像坐標(biāo)中。</p><p>　　（3）信息融合：將還原到HR圖像坐標(biāo)中的信息融合到一張圖片中，可以采用多種信息融合算法。</p><p>　?。?）去模糊和噪聲：在HR融合圖像中需要去除模糊和噪聲，如果圖像模糊和噪聲未知，需要先圖像序列中估計(jì)。</p><p>　　超分辨率影像重建技術(shù)于60年

35、代由Hamm和Goodman最初以單張影像復(fù)原的概念和方法提出，隨后許多人對其進(jìn)行了研究，并相繼提出了各種復(fù)原方法，雖然這些方法做出了較好的仿真結(jié)果，但并沒有在實(shí)際中得到廣泛的應(yīng)用。80年代末之后，隨著計(jì)算機(jī)技術(shù)、電子技術(shù)以及信號處理理論與技術(shù)特別是小波理論、自適應(yīng)濾波理論以及一些優(yōu)化理論的發(fā)展，人們在超分辨率影像重建方法研究上取得了突破性進(jìn)展，研究成果倍出，其應(yīng)用涵蓋了航空航天遙感、目標(biāo)識別、醫(yī)學(xué)計(jì)算機(jī)層析成像、空中目標(biāo)光電監(jiān)視成像等

36、諸多領(lǐng)域。值得一提的是，國際著名的光學(xué)儀器制造公司Leica/Hellawa公司、法國國家航天研究中心已經(jīng)把該領(lǐng)域的理論研究成果轉(zhuǎn)化到硬件產(chǎn)品--交錯CCD傳感器陣列的設(shè)計(jì)中，并已將其分別應(yīng)用于他們的遙感設(shè)備“ADS40”和“SPOT5”衛(wèi)星，取得了相當(dāng)理想的效果。從目前的研究和應(yīng)用成果來看，人們提出了很多圖象超分辨率算法。這些算法按照可以獲得的低分辨率圖象的數(shù)量可以分為兩類：1)序列圖象的高分辨率估計(jì)： 組合同一場景的多幅低分辨率圖象

37、以獲得一幅高分辨率圖象的過程；2)單幅圖象的高分辨率估計(jì)：由一幅低分辨率圖象得到一幅高分辨率</p><p>　　中在頻率域進(jìn)行，但隨著更一般的退化模型的考慮，后期的研究工作幾乎都集中在空間域進(jìn)行。</p><p><b>　　2.2 頻域方法</b></p><p>　　頻率域方法是圖像超分辨率重建中的一類主要方法，主要是基于傅氏變換和反變換

38、來進(jìn)行的圖像復(fù)原。它通過在頻率域消除頻譜混疊而改善圖像的空間分辨率，由于圖像的細(xì)節(jié)靠高頻信息來表現(xiàn)，而通過消除頻譜混疊，就可以獲得更多的被淹沒掉的高頻信息，因此依靠在頻率域解頻譜混疊就是增加圖像的細(xì)節(jié)，提高分辨率。目前采用的主要是消混疊重建方法(Reconstruction via Alias Removal)，消混疊重建方法是通過解混疊而改善影像的空間分辨率，進(jìn)行超分辨率重建。最早的研究工作是由Tsai和Huang在1984年進(jìn)行的。

39、作為兩類主要的重建算法之一，頻域算法的基本思想就是將圖像數(shù)據(jù)先變換到頻域進(jìn)行結(jié)合轉(zhuǎn)換，再變換回空間域形成高分辨率圖像。它主要利用了采樣定理以及連續(xù)傅立葉變換(CFT)，離散傅立葉變換(DFT)的性質(zhì)等。在原始場景信號帶寬有限的假設(shè)條件下，利用離散Fourier變換和連續(xù)Fourier變換之間的平移、混疊性質(zhì)，給出了一個由一系列欠采樣觀測影像數(shù)據(jù)重建HR影像的公式，使得多幀觀察圖像經(jīng)混頻的離散傅立葉變換系數(shù)與未知場景的連續(xù)傅立葉變換系數(shù)以

40、方程組的形式聯(lián)系起來，方程組的解就是原始場景的頻</p><p>　　頻域算法有以下的優(yōu)點(diǎn)：首先它是一種簡單而且直觀的方法，雖然實(shí)現(xiàn)起來有一定的復(fù)雜度，但是它的基本原理很清晰，使用的頻域法則也只是很容易理解的基本的傅立葉變換性質(zhì)；其次，頻域算法的計(jì)算復(fù)雜度低，其主要計(jì)算量是求解線性方程組，由于超分辨率圖像的每個頻域采樣點(diǎn)值的計(jì)算是獨(dú)立的，所以可以支持大量的并行運(yùn)算，提高處理速度。但是，頻域算法的缺陷也非常明顯：&

41、lt;/p><p>　　(1) 使用全局位移的運(yùn)動模型：頻域算法的提出最初是為了處理衛(wèi)星圖片，不同的圖片之間只是拍攝角度有細(xì)微的差別，所以可以方便地應(yīng)用全局位移模型，不過對于一般的圖像序列全局位移的要求很可能不被滿足，由于傅立葉變換的平移特性是頻域算法使用的基本技術(shù)之一，很難對運(yùn)動模型進(jìn)行調(diào)整以適應(yīng)有局部運(yùn)動情況的圖像序列，缺少靈活性，從而限制了在大多數(shù)實(shí)際情況。</p><p>　　(2)

42、退化模型與運(yùn)動模型的問題類似，頻域算法因?yàn)橐阉邢袼攸c(diǎn)統(tǒng)一轉(zhuǎn)換到頻域進(jìn)行處理，所以無法應(yīng)用隨空間變化的退化模型，沒有考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)PSF、運(yùn)動模糊和觀測噪聲的影響。對觀察噪聲的處理能力也非常有限。</p><p>　　(3)先驗(yàn)知識的應(yīng)用：超分辨率圖像重構(gòu)是病態(tài)求逆的過程，因此恢復(fù)過程中</p><p>　　利用各種先驗(yàn)知識進(jìn)行圖像調(diào)整是很重要的。通常最有用的先驗(yàn)知識都是在空間

43、域?qū)D像的重構(gòu)范圍進(jìn)行限制的，它們很難被用于頻域，除非其效果是移不變的。</p><p>　　(4)圖像頻帶受限：圖像頻帶有限與全局位移都是進(jìn)行頻域重構(gòu)的基本假設(shè)。算法中L值的設(shè)置會限制重構(gòu)圖像的質(zhì)量，如果設(shè)置得高，就會導(dǎo)致線性方程組中的未知量過多，數(shù)據(jù)點(diǎn)不足的問題。</p><p><b>　　2.3 空間域方法</b></p><p>　　

44、空間域方法是圖像超分辨率重建應(yīng)用中另一類主要的方法，是目前研究的熱點(diǎn)，它的性能要遠(yuǎn)遠(yuǎn)高于頻域的方法。它將復(fù)雜的運(yùn)動模型與相應(yīng)的插值、迭代及濾波重采樣放在一起進(jìn)行處理，作為影像重建的全部內(nèi)容，其線性空間域觀測模型涉及到全局和局部運(yùn)動、光學(xué)模糊、幀內(nèi)運(yùn)動模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣及其他一些內(nèi)容?？臻g域影像超分辨率重建方法主要包括非均勻間隔樣本內(nèi)插(Interpolation of Non-Uniformly Spaced Samp

45、les)、后向投影迭代(IBP)，概率論方法(Probabilitic Methods)以及集合論方法(Set Theoretic Methods)、混合MAP/POCS方法以及自適應(yīng)濾波方法等。</p><p>　　2.3.1 非均勻空間樣本差值算法</p><p>　　觀測影像序列經(jīng)過配準(zhǔn)后，形成一幅由非均勻間隔采樣格網(wǎng)點(diǎn)上的樣本值形成的復(fù)合影像，這些非均勻間隔樣本點(diǎn)經(jīng)過內(nèi)插和重采樣可

46、形成超分辨率的采樣格網(wǎng)。非均勻間隔樣本內(nèi)插方法是超分辨率圖像復(fù)原最直觀的方法。在這一方法中，首先對圖像進(jìn)行相對運(yùn)動估算，即配準(zhǔn)，然后進(jìn)行非均勻插值以便產(chǎn)生一幅分辨率較高的圖像，最后對圖像進(jìn)行去模糊。通用插值方法將包含原始函數(shù)的空間分解為適當(dāng)?shù)淖涌臻g，在每一個子空間內(nèi)進(jìn)行以插值為目的的尺度變換，然后將插值空間逆變換到原始空間。這樣原始空間也就包含了插值函數(shù)，相當(dāng)于在原始空間內(nèi)插值。挑選這些子空間的原則是：尺度變換的操作能夠保持原始函數(shù)的特

47、性。使用估算的相對運(yùn)動信息，可以獲得非均勻間隔樣點(diǎn)上的HR圖像。一旦通過非均勻插值獲得一幅HR圖像，就能處理復(fù)原問題以消除模糊與噪聲。可以使用任何考慮噪聲存在的去卷積方法來進(jìn)行復(fù)原。Aizawa,Komatsu和Saito提出了另一種基于內(nèi)插的方法，對通過立體相機(jī)獲取超分辨率影像的方法進(jìn)行了討論Masayuki用內(nèi)插濾波方法對遙感影像進(jìn)行了模擬試驗(yàn)，證明了超分辨率的可行性，但效果并不很理想。近年來，有的學(xué)者對基于小波的圖像超分辨率技術(shù)進(jìn)

48、行</p><p>　　內(nèi)插方法過于簡單化，因?yàn)橛^察數(shù)據(jù)是從嚴(yán)格的欠采樣得到的，在復(fù)原這一步(典型的假設(shè)是脈沖采樣)不能得到比低分辨率圖像中更多的頻率成分。并且退化模</p><p>　　型是受限制的，它們只適用于模糊和噪聲特性對全部低分辨率圖像都一樣的情況，也能利用任何先驗(yàn)信息。另外，由于復(fù)原步驟忽視了插值階段中產(chǎn)生的誤差，所以不能保證整個復(fù)原算法的最優(yōu)性。</p><

49、;p>　　2.3.2 迭代反投影法</p><p>　　Irani等提出了一種迭代反投影算法。這種算法首先用輸出圖像的一個初始估計(jì)作為當(dāng)前結(jié)果，并把這個當(dāng)前結(jié)果投影到低分辨率觀測圖像上以獲得低分辨率模擬圖像，低分辨率模擬圖像與實(shí)際觀測圖像的差值稱為模擬誤差，根據(jù)模擬誤差不斷更新當(dāng)前估計(jì)。Tom等通過改進(jìn)運(yùn)動補(bǔ)償方法，進(jìn)一步提高了迭代反投影算法的性能，并將迭代反投影算法推廣應(yīng)用到彩色視頻序列的超分辨率圖像重建

50、上。迭代反投影算法的優(yōu)點(diǎn)是直觀、簡單；缺點(diǎn)是問題具有病態(tài)性，解不惟一，而且難以利用先驗(yàn)信息。</p><p>　　2.3.3凸集投影算法</p><p>　　凸集投影算法是一種集合理論重建方法。超分辨率圖像的可行域是一組凸約束集合的交集，而這組凸約束集合代表了期望的超分辨率圖像的一些特性，如數(shù)據(jù)可靠、能量有限、正定、支撐域有界、平滑等。POCS算法是一種迭代過程，在給定超分辨率圖像可行域中

51、任意一個點(diǎn)的前提下，可以找到一個滿足所有凸約束條件的點(diǎn)（即收斂解）。Stark和Oskoui首先將POCS應(yīng)用于超分辨率圖像重建。Tekalp等進(jìn)行了改進(jìn)，考慮了傳感器噪聲。Patti等又提出了考慮多種降質(zhì)因素的圖像獲取模型，包括照相機(jī)運(yùn)動、非零孔徑時間、傳感器單元的非零物理尺寸、由光學(xué)成像元件引起的模糊、傳感器噪聲、任意空間時間采樣等。</p><p>　　2.3.4最大后驗(yàn)概率估計(jì)和最大似然估計(jì)算法</

52、p><p>　　最大后驗(yàn)概率估計(jì)和最大似然估計(jì)算法是一種統(tǒng)計(jì)重建方法，它是把超分辨率重建問題看成一個統(tǒng)計(jì)估計(jì)問題。最大后驗(yàn)概率估計(jì)的含義就是在已知低分辨率視頻序列的條件下，使出現(xiàn)高分辨率圖像的后驗(yàn)概率達(dá)到最大。根據(jù)貝葉斯理論，高分辨率圖像的后驗(yàn)概率等于以下兩項(xiàng)之積：1）已知理想高分辨率圖像的條件下，低分辨率視頻序列的條件概率；2）理想高分辨率圖像的先驗(yàn)概率。條件概率項(xiàng)通常采用高斯模型，先驗(yàn)概率項(xiàng)在不同的算法中采用不同

53、的模型。通常采用的先驗(yàn)?zāi)Ｐ蛻?yīng)該具有三個特點(diǎn)：1）是一個局部平滑函數(shù)；2）具有邊緣保持能力；3）是一個凸函數(shù)。大多數(shù)最大后驗(yàn)概率估計(jì)算法的差別就是在先驗(yàn)?zāi)Ｐ偷倪x擇上。一種常用的先驗(yàn)?zāi)Ｐ褪荋uber-Markov模型。將對數(shù)似然函數(shù)化簡，得到一個約束最優(yōu)化問題。MAP估計(jì)算法就是將目標(biāo)函數(shù)最小化。若目標(biāo)函數(shù)是凸函數(shù)，則保證了它在最優(yōu)化過程中的收斂性。</p><p>　　Schultz等提出了MAP超分辨率圖像重建算

54、法，它是單幀圖像插值算法的推廣。這種方法采用Huber-Markov模型作為圖像的先驗(yàn)信息，這些先驗(yàn)約束是解決超分辨率重建問題的病態(tài)性所必須的。Hardie等提出了一種與超分辨率圖像和配準(zhǔn)參數(shù)同時有關(guān)的MAP目標(biāo)函數(shù)，這種方法可以同時進(jìn)行運(yùn)動估計(jì)和圖像重建。為了解決MAP超分辨率重建方法的病態(tài)性問題，可以把Tikhonov-Arsenin正則化引入到超分辨率重建方法中Tikhonov-Arsenin正則化函數(shù)可以認(rèn)為是貝葉斯框架中Mar

55、kov隨機(jī)場先驗(yàn)的特例。</p><p>　　2.3.5混合MAP/POCS方法</p><p>　　混合MAP/POCS方法就是在最大后驗(yàn)概率方法的迭代優(yōu)化過程中加人一些先驗(yàn)約束。在對超分辨率重建進(jìn)行深人研究的基礎(chǔ)上，有的學(xué)者提出將統(tǒng)計(jì)理論與集合論有機(jī)統(tǒng)一在一起，能同時考慮觀察圖像的隨機(jī)統(tǒng)計(jì)特征和凸集特征，這就是所謂的混合MAP/POCS方法，對于最大后驗(yàn)概率估計(jì)算法，其優(yōu)點(diǎn)是可以在解中

56、直接加入先驗(yàn)約束、能確保解的存在和惟一，其降噪能力較強(qiáng)且收斂穩(wěn)定性高；其缺點(diǎn)是收斂慢、運(yùn)算量大。另外，最大后驗(yàn)概率估計(jì)算法的邊緣保持能力不強(qiáng)，由這類方法超分辨率復(fù)原的圖像的細(xì)節(jié)信息容易被平滑掉，對于凸集投影算法，其優(yōu)點(diǎn)是可以方便地加入先驗(yàn)信息，可以較好的保持高分辨率圖像上的邊緣和細(xì)節(jié)特征；缺點(diǎn)是解不唯一且依賴于初始估計(jì)，并且運(yùn)算量大、收斂穩(wěn)定性不高等。另外，POCS算法中的圖像修正過程是基于數(shù)據(jù)一致性的，因而超分辨率估計(jì)圖像的邊緣振蕩效

57、應(yīng)是它的一個明顯不足之處。比較MAP估計(jì)、POCS兩種算法的優(yōu)缺點(diǎn)，可以發(fā)現(xiàn)兩種算法有許多互補(bǔ)性，如：MAP估計(jì)的迭代收斂穩(wěn)定性比POCS算法好，但POCS算法的收斂速度卻比MAP估計(jì)快；MAP估計(jì)的降噪能力比POCS強(qiáng)，但POCS的邊緣保持能力卻比MAP估計(jì)來的好；M</p><p>　　2.4常見的圖像重構(gòu)算法的比較</p><p>　　超分辨率圖像重構(gòu)包括頻域和空間域兩類主要算法，頻

58、域算法首先被提出，但是目前的研究則基本都是對空間域算法進(jìn)行的，通過前面的介紹我們己經(jīng)可以看到空間域算法具有更好的適應(yīng)性和重構(gòu)效果，下面對這兩類算法做一個詳細(xì)比較，可以更清楚地看到它們各自優(yōu)劣所在。</p><p>　　表2-1：頻域算法與空間域算法的比較</p><p>　　從表中可以看到，頻域算法中采用的各系統(tǒng)模型都是相對簡單的，而空間域算法則盡量采用通用的，能夠包含各種實(shí)際可能遇到情況

59、的模型，因此頻域算法只能在特定的情況下使用，空間域算法則適用于幾乎是所有的場合。當(dāng)然這是因?yàn)槎叩某霭l(fā)點(diǎn)不一樣，頻域算法本身就是為了對一種特定的圖像序列(衛(wèi)星拍攝圖像)進(jìn)行處理而產(chǎn)生的，它的處理思想也是基于這樣的特殊情況，所以難以改進(jìn)擴(kuò)展;頻域算法的提出引出了超分辨率圖像重構(gòu)的課題，而空間域算法是為了解決超分辨率圖像重構(gòu)問題而產(chǎn)生的，在設(shè)計(jì)算法的時候自然要先考慮算法的適應(yīng)范圍的問題。</p><p>　　頻域算法

60、的理論很簡單，只涉及到一些傅立葉變換的知識，進(jìn)行圖像重構(gòu)時的計(jì)算量也不大，空間域算法考慮了各種運(yùn)動、降質(zhì)、噪聲情況以及圖像的先驗(yàn)知識，因此算法相對復(fù)雜，而且多數(shù)空間域算法要采用重復(fù)修正逼近的方法求解，計(jì)算量也非常大。從圖像重構(gòu)的效果來看，空間域算法比頻域算法好，主要是因?yàn)樗鼘ο闰?yàn)知識有較好的包容性，先驗(yàn)知識對圖像的限制通常是非線性的，而從圖像復(fù)原的相關(guān)知識中我們可以了解到圖像頻譜的擴(kuò)展是要通過非線性過程的作用來實(shí)現(xiàn)。</p>

61、<p>　　空間域算法中最有前途的是MAP算法與POCS算法，它們都具有高度的靈活性和良好的可擴(kuò)展性，重構(gòu)圖像的效果也比較令人滿意，貝葉斯算法與POCS算法相比有更嚴(yán)謹(jǐn)?shù)睦碚摽蚣?，其最大的?yōu)點(diǎn)是重構(gòu)結(jié)果是唯一的，POCS算法的優(yōu)點(diǎn)則是算法比較直觀，對先驗(yàn)知識的利用更加簡單靈活。下面把這兩種算法的一些特性作一比較。</p><p>　　表2-2：MAP算法與POCS算法的比較</p>&

62、lt;p>　　3 POCS算法及其改進(jìn)算法的實(shí)現(xiàn)</p><p>　　超分辨率圖像重構(gòu)是一個典型的病態(tài)求逆問題。所謂病態(tài)問題，用數(shù)學(xué)的語言來講，就是由方程的己知條件，無法唯一地確定方程的解。求解病態(tài)問題的通用方法是采用正則化方法，即利用圖像的各種有關(guān)信息來約束問題的可能解的空問范圍。在超分辨率圖像重構(gòu)中，正則化一般是通過以下兩種方式來進(jìn)行：</p><p>　　(1) 利用圖像序列所

63、能提供的額外的、有關(guān)圖像的空間一時間約束信息(低分辨率圖像序列通常能夠提供有關(guān)約束同一場景高分辨率圖像的亞像素信息)。</p><p>　　(2) 利用各種有關(guān)圖像的先驗(yàn)知識來約束高分辨率圖像的解空間(例如有關(guān)圖像的局部平滑先驗(yàn)知識，邊界先驗(yàn)知識，能量有界性先驗(yàn)知識等)。</p><p>　　凸集投影(Projection onto convex sets,POCS)是圖像重構(gòu)的重要理論方

64、法之一，該方法以其強(qiáng)大的先驗(yàn)知識包含能力，成為近年來圖像復(fù)原領(lǐng)域中一種主要方法，并在圖像超分辨率重構(gòu)方面也得到了很好的應(yīng)用。POCS方法之所以在圖像超分辨率重構(gòu)領(lǐng)域收到如此重視，主要在于該方法存在著以下優(yōu)點(diǎn)：</p><p>　　(1) 原理簡單POCS方法原理直觀，實(shí)現(xiàn)算法簡單。唯一的困難在于投影操作算子的確定。</p><p>　　(2) 靈活的空域觀測模型，因?yàn)镻OCS方法是空間域的

65、典型公式，非常一般的運(yùn)動模型、觀測值模型均能適應(yīng)其中，運(yùn)動即觀測值模型的復(fù)雜度對POCS方法幾何沒有影響。</p><p>　　(3) 強(qiáng)大的先驗(yàn)信息包含能力，POCS方法最有用的一面可能就是其很容易利用先驗(yàn)信息。一般來說，確定包含理想解特點(diǎn)的限制集比較易于實(shí)現(xiàn)，但可能施加的其他限制條件如正定性、光滑性以及能量有界性則較難用代價函數(shù)來表示。</p><p>　　POCS方法的缺點(diǎn)主要有：其

66、一，解的不唯一性。對基于POCS的超分辨率重構(gòu)來說，其解空間定義為所有凸集的交集，除非該交集是單點(diǎn)集，否則其解就是不唯一的；其二，對初始值的依賴性；其三，POCS方法需要可觀的計(jì)算代價和較多的迭代次數(shù)。本章在介紹凸集投影概念、特點(diǎn)以及其重構(gòu)算法的基礎(chǔ)上，針對POCS算法的第二個缺點(diǎn)，本章將基于邊緣保持的插值算法與其相結(jié)合提出了基于邊緣保持的POCS超分辨率圖像重構(gòu)算法，并對其進(jìn)行實(shí)現(xiàn)仿真，仿真結(jié)果表明該算法具有良好的重構(gòu)效果。</

67、p><p>　　3.1 凸集投影算法</p><p>　　基于凸集投影(POCS)的高分辨率圖像重建算法就是給定一組低分辨率圖像，假設(shè)為參考圖像，利用圖像和其它的圖像（其中且））重建高分辨率圖像的過程。通常的POCS</p><p>　　重建算法可以分作三個具體的步驟：構(gòu)造參考幀、進(jìn)行運(yùn)動估計(jì)、對參考幀進(jìn)行修正。</p><p>　　3.1.1

68、用插值方法構(gòu)造參考幀</p><p>　　實(shí)現(xiàn)POCS算法的第一步就是根據(jù)觀察圖像序列構(gòu)造參考幀，也就是預(yù)估的超分辨率圖像。從理論上來說，從整個成像空間圖像集合的任一點(diǎn)開始，在經(jīng)過向所有約束集投影的過程后，都可以找到它在交集上的投影，也就是說以任意的圖像作為參考幀開始重構(gòu)，最后都能得出可以接受的重構(gòu)結(jié)果。但實(shí)際上初始估計(jì)值對于算法是否可行的影響是比較大的。實(shí)際中通常為了加快收斂速度，減少重復(fù)修正需要的次數(shù)，降低算

69、法的計(jì)算量和消耗時間，構(gòu)造的參考幀與最后的重構(gòu)結(jié)果越相似越好。一般來說初始點(diǎn)是由一幀低分辨率圖像經(jīng)過插值得到的，也就是構(gòu)造出來的參考幀。在后續(xù)的處理中，都是與預(yù)估計(jì)出來的參考幀作為基礎(chǔ)的。</p><p>　　插值是將圖像的像素點(diǎn)恢復(fù)到更高速率的采樣?xùn)鸥裆?。通過插值，我們可以得到和超分辨率重建圖像的分辨率相同的重建圖像初始估計(jì)。并且，對原始LR圖像插值可以提高下一個步驟中的運(yùn)動估計(jì)的準(zhǔn)確性。通常采用的插值方法有三

70、種：a)最鄰近插值，b)雙線性插值，c)高階插值。這三種插值方法相比起來，最近鄰插值的計(jì)算最簡單；在許多情況下，其結(jié)果也可以令人接受。但是，當(dāng)圖像中包含像素之間灰度級有變化的細(xì)微結(jié)構(gòu)時，最鄰近插值所獲取的圖像中經(jīng)常帶有明顯的鋸齒現(xiàn)象，可能對重構(gòu)圖像的效果有不良影響。雙線性插值和最近鄰插值法相比可能產(chǎn)生會更令人滿意的效果，只是它稍微復(fù)雜一些，運(yùn)行時間稍長一點(diǎn)。但是雙線性插值對圖像有平滑作用，因此會使圖像的細(xì)節(jié)部分產(chǎn)生退化，造成插值后圖像的

71、邊緣模糊。相比較而言，高階插值對圖像細(xì)節(jié)的退化影響最小，但是由于采用的插值核函數(shù)更加復(fù)雜，所以其運(yùn)算的復(fù)雜度比較高。</p><p><b>　　3.1.2運(yùn)動估計(jì)</b></p><p>　　在獲取圖像序列的過程中，由于物體的運(yùn)動以及相機(jī)位置的改變而導(dǎo)致圖像內(nèi)容發(fā)生變化。主要包括物體的平移、旋轉(zhuǎn)、形狀變化、相機(jī)的變焦、傾斜、鏡頭抖動等。運(yùn)動估計(jì)實(shí)際上就是求同一對象在

72、兩幀圖像中的位置差，也就是這個對象的兩幀圖像中的“運(yùn)動”。在對同一場景進(jìn)行拍攝后，假設(shè)總共拍攝到N幀分辨率為、各自含有不同亞像素信息的低分辨率圖像，并用來表示這些低分辨率圖像，那么我們最終目的是要從這些低分辨率圖像中重構(gòu)出一幅分辨率為的高分辮率圖像，其中是放大倍數(shù)。為了能將這N幀低分辨率圖像中的不同亞像素信息甄別出來，就需要在高分辨率網(wǎng)格上重新將所有這N幀低分辨率圖像進(jìn)行對準(zhǔn)，這就是運(yùn)動估計(jì)的目的所在。在凸集投影方法中，要把低分辨率圖像

73、序列投影到參考幀上進(jìn)行修正，為保證低分辨率圖像中的點(diǎn)投影到參考幀圖像中的正確的位置上就必須進(jìn)行運(yùn)動估</p><p>　　計(jì)，實(shí)際上運(yùn)動估計(jì)的好壞直接影響超分辨率復(fù)原的結(jié)果。</p><p>　　3.1.3 基于點(diǎn)擴(kuò)散函數(shù)的修正</p><p>　　參考幀的修正過程其實(shí)就是成像空間的初始點(diǎn)在各個凸集中的投影過程。絕大多數(shù)的成像系統(tǒng)并不是理想的光學(xué)系統(tǒng)，圖像在經(jīng)過攝像

74、頭的時候總會有一定的退化，考慮一個光點(diǎn)源，透過攝像頭形成圖像，不可能與原先一樣就是一個點(diǎn)，而是會產(chǎn)生一些模糊，這個模糊是由點(diǎn)擴(kuò)散函數(shù)(PSF)造成的。低分辨率圖像序列由理想高分辨圖像通過采樣產(chǎn)生，其中某點(diǎn)的像素灰度值是由理想圖像的一個小圖像塊中的點(diǎn)決定的。至于觀察的低分辨圖像中一個像素點(diǎn)對應(yīng)于重構(gòu)圖像中多大范圍內(nèi)的點(diǎn)，是由低分辨率傳感器單元的PSF決定的，因此在超分辨率圖像重構(gòu)中不僅要考慮光學(xué)模糊，而且還要考慮高低分辨率之間轉(zhuǎn)換產(chǎn)生的P

75、SF。</p><p>　　POCS算法的圖像修正方法是把一個觀察圖像像素投影到參考幀上，找出參考幀中在它的PSF范圍內(nèi)的像素，由PSF計(jì)算出這個像素的灰度估計(jì)值，與實(shí)際值相比較，如果誤差超出允許范圍，就對參考幀中的像素灰度值進(jìn)行修正使得灰度估計(jì)值與實(shí)際值的誤差減小到允許范圍內(nèi)。對所有觀察圖像中的每個像素都進(jìn)行這種處理。因?yàn)橄袼攸c(diǎn)在參考幀上的PSF影響范圍可能部分重疊，在使用后面的點(diǎn)修正圖像后，前面處理過的點(diǎn)的誤

76、差值可能會再超出閾值，所以進(jìn)行修正的時候一般不會一次修正到位，而是采取循環(huán)修正的方法，在達(dá)到一定的循環(huán)次數(shù)，或者確定誤差值已收斂至足夠小才結(jié)束修正過程。</p><p>　　3.1.4 POCS圖像重建算法步驟</p><p>　　POCS圖像重建算法的具體步驟如下：</p><p>　　步驟1：對圖像進(jìn)行運(yùn)動估計(jì)：</p><p>　　1）

77、把每幀低分辨率圖像進(jìn)行雙線性插值放大，放大到跟高分辨率圖像一樣大小。</p><p>　　2）對插值以后的低分辨率圖像與參考圖像進(jìn)行運(yùn)動估計(jì)。</p><p>　　步驟2：在運(yùn)動軌跡精確的每一個像素點(diǎn)定義集合。</p><p>　　步驟3：在集合定義的每一個像素點(diǎn)計(jì)算模糊函數(shù)。</p><p>　　步驟4：對參考圖像進(jìn)行雙線性插值，把插值以后

78、圖像作為高分辨率圖像的初始估計(jì)。</p><p>　　步驟5：對集合定義每一個像素點(diǎn)進(jìn)行如下操作：</p><p>　　a.根據(jù)式計(jì)算殘差。</p><p><b>　　b.使用 </b></p><p>　　式中，投影算子投影殘差。</p><p>　　步驟6：基于式的幅值投影。</

79、p><p>　　步驟7：如果滿足終止判據(jù)，結(jié)束迭代。</p><p>　　3.2 保留邊緣信息的POCS超分辨率圖像重建算法</p><p>　　從步驟4可以看出重建圖像質(zhì)量的好壞與雙線性插值出來的高分辨率圖像的初始估計(jì)有著直接的聯(lián)系。而雙線性插值是將原始圖像上的各點(diǎn)首先對應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上作插值，并且不區(qū)分邊緣區(qū)域和平滑區(qū)域，這是造成邊緣模糊的主要原因。

80、因而我們就想到了要對圖像的邊緣點(diǎn)進(jìn)行特殊的處理，即用保持原始圖像的邊緣信息進(jìn)行圖像插補(bǔ)的方法代替雙線性插值來求解POCS算法中高分辨率圖像的初始估計(jì)，然后在此基礎(chǔ)上進(jìn)行POCS算法。本文假設(shè)原始圖像的邊緣信息完整，那么在這種假設(shè)條件成立的情況下，對于邊緣與靠近邊緣的像素點(diǎn)我們就不應(yīng)該去進(jìn)行中間插值，簡單的將其移動到邊緣周圍即可。我們所要重點(diǎn)處理的應(yīng)該是沿邊緣方向、沿邊緣兩側(cè)、邊緣到平滑區(qū)域的過渡處理以及邊緣密集區(qū)的處理。</p&g

81、t;<p><b>　　1.圖像的邊緣檢測</b></p><p>　　由于對數(shù)字圖像進(jìn)行插補(bǔ)放大處理的視覺質(zhì)量主要依賴于圖像輪廓邊緣，所以第一步驟就是采取邊緣檢測算法檢測出原始圖像的邊緣。</p><p><b>　　2.保持邊緣信息</b></p><p>　　所謂的邊緣信息即指跨越邊緣方向的灰度值變化情

82、況和沿邊緣方向的灰度值變化情況。本文指出的邊緣方向有兩個含義：1)在邊緣之上；2)緊靠邊緣兩側(cè)。所以保持邊緣信息的處理就分為以下兩個步驟：</p><p>　　第一步：首先將邊緣像素點(diǎn)的原始值對應(yīng)映射到放大圖像上，然后跟蹤邊緣在邊緣之上沿邊緣方向進(jìn)行插值。</p><p>　　第二步：對邊緣兩側(cè)沿邊緣方向進(jìn)行平滑處理。</p><p><b>　　1) 保

83、護(hù)邊緣信息</b></p><p>　　所謂保護(hù)邊緣信息指的是將放大圖像中經(jīng)過插補(bǔ)的邊緣用一個沿著邊緣方向兩側(cè)的一系列像素點(diǎn)將邊緣封閉。目的是為了在以后的插補(bǔ)計(jì)算中對插補(bǔ)像素點(diǎn)</p><p>　　的計(jì)算不涉及到邊緣像素點(diǎn)，這樣會使放大圖像的灰度變化平滑，而且不會在邊緣附近引進(jìn)噪聲。</p><p>　　2)與邊緣不相接觸的平滑區(qū)處理</p>

84、<p>　　所謂與邊緣不相接觸的平滑區(qū)是指在原始圖像中4×4局部區(qū)域沒有邊緣點(diǎn)，這時我們只對其中心的2×2區(qū)域進(jìn)行處理，將其原始圖像中平滑區(qū)像素點(diǎn)映射到放大圖像上并作插值處理。</p><p>　　3)平移的非邊緣像素點(diǎn)與平滑區(qū)域的過渡處理</p><p>　　非邊緣點(diǎn)和那些不滿足在步驟2中的與邊緣相接觸的平滑區(qū)域的像素點(diǎn)分為兩種情況，第一種是與平滑區(qū)相接

85、近，第二種是與圖像的邊緣相接近。與平滑區(qū)相接近的未分配像素點(diǎn)我們可以以1／3的兩點(diǎn)灰度值之差沿著我們在第二步中的非邊緣點(diǎn)的移動方向向平滑區(qū)過渡，這樣我們每次插補(bǔ)兩個點(diǎn)。</p><p>　　4)未分配點(diǎn)在邊緣密集區(qū)域的處理</p><p>　　對于在邊緣密集區(qū)域的尚未分配的像素點(diǎn)，我們處理的主要依據(jù)是根據(jù)第2步驟中移動方向進(jìn)行判斷和處理。我們沿其移動的反方向查找第2個像素點(diǎn)的值，這個值會有

86、兩種情況：第一種情況，它就是一個邊緣點(diǎn)，這說明插值點(diǎn)在兩個邊緣之間(緊靠兩邊緣)，這說明插值點(diǎn)要不在斜坡邊緣的頂或底上，要不就是在邊緣上，并且還是線性的邊緣，所以我們賦予插值點(diǎn)的值為原始圖像上對應(yīng)點(diǎn)的像素值。第二種情況是它還沒有賦值，這說明插值點(diǎn)不是緊緊夾在兩邊緣之間，這說明插值點(diǎn)是在斜坡邊緣的過渡帶上，所以可以將原始圖像中對應(yīng)的像素點(diǎn)的像素值賦予這個點(diǎn)，然后對插值的點(diǎn)進(jìn)行1/3增量式賦值。</p><p>　　

87、5)填補(bǔ)其余未分配的像素點(diǎn)</p><p>　　通過以上的處理，圖像中所有的關(guān)鍵點(diǎn)、有特征的點(diǎn)都被賦予了值，剩下的工作就是將未分配的點(diǎn)與周圍的點(diǎn)進(jìn)行雙線性插值處理即可達(dá)到平滑的效果。</p><p>　　經(jīng)過以上的處理得到了邊緣比較清晰的圖像作為高分辨率圖像的初始估計(jì)，然后再按照POCS算法的其他步驟對圖像進(jìn)行重建處理生成高分辨率圖像。</p><p><b&

88、gt;　　4 試驗(yàn)結(jié)果與分析</b></p><p>　　4.1 試驗(yàn)低分辨率圖像的生成</p><p>　　超分辨率圖像重構(gòu)的對象是描述同樣的場景，彼此相似而又不完全相同的圖像序列，可以用不同的方法獲取符合這樣要求的圖像序列，比如用數(shù)碼相機(jī)連續(xù)拍攝的相片，或者直接從一段錄像中抽取的連續(xù)幾幀。在實(shí)驗(yàn)中用到的初始的低分辨率圖像序列可以是模擬生成低分辨率圖像序列和數(shù)碼相機(jī)實(shí)際拍攝圖

89、像序列，這兩種圖像序列進(jìn)行復(fù)原的結(jié)果的評價標(biāo)準(zhǔn)是不一樣的。模擬生成低分辨率圖像序列的復(fù)原結(jié)果由于有原始高分辨率圖像的存在，因此可以進(jìn)行直觀的數(shù)字比較如MSE等。也可以使用人眼觀察的方式進(jìn)行；而實(shí)際拍攝的圖像序列的復(fù)原結(jié)果則只能采用人眼觀察的模式進(jìn)行比較。</p><p>　　本論文中供測試程序進(jìn)行重構(gòu)試驗(yàn)的圖像序列主要是通過對一幀圖像進(jìn)行亞采樣產(chǎn)生的圖像序列。進(jìn)行亞采樣的方法如圖4-1所示，以2*2的小塊為單位將

90、4個像素分別抽樣到不同的低分辨率圖像中，這樣就生成了4幀低分辨率圖像：</p><p>　　高分辨率圖像 低分辨率圖像序列</p><p>　　圖4-1：圖像亞抽樣方式</p><p>　　也可以使用隨機(jī)抽取的辦法，每幀低分辨率圖像都是在4個像素里面隨機(jī)抽取一點(diǎn)，但是前面的一種方式有一個好處，就是原圖像中的所有像素都存在于低分辨率

91、圖像序列中。。此外，我們也可以掃描的方式來獲取低分辨率序列圖像，對一幅圖案進(jìn)行多次掃描，將掃描精度設(shè)得比較低時，每次掃描的結(jié)果在圖像細(xì)節(jié)上會有不少不同處，這正好符合超分辨率圖像重建的本來目的。圖5-2表示一幀圖像經(jīng)過亞抽樣以后得到的低分辨圖像序列。圖4-2表示一幀圖像經(jīng)過亞抽樣以后得到的低分辨圖像序列。</p><p>　　圖4-2：抽樣生成的圖像序列</p><p>　　4.2 改進(jìn)的P

92、OCS算法重構(gòu)結(jié)果及其分析</p><p>　　圖像序列生成了以后，就可以利用測試程序?qū)OCS算法進(jìn)行重構(gòu)試驗(yàn)。本次實(shí)驗(yàn)首先將圖像進(jìn)行抽樣生成一組LR圖像序列，使用生成的這組噪聲污染小的LR圖像序列來重建原來的高分辨率圖像。各幀LR圖像的大小均為128*128，復(fù)原的HR圖像為256*256。試驗(yàn)結(jié)果如圖4-4、4-5、4-6所示</p><p>　　圖4-3 LR圖像

93、 圖4-4雙線性插值后的結(jié)果</p><p>　　圖4-5普通POCS算法處理結(jié)果 圖4-6基于邊緣保持的POCS算法的結(jié)果</p><p>　　由仿真結(jié)果可以看出雙線性插值的結(jié)果出現(xiàn)了邊緣模糊的情況，出現(xiàn)這種情況的主要原因是雙線性插值將原始圖像上的各點(diǎn)首先對應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上做插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域。對比圖4-5和4-6，基于邊緣保持

94、的POCS算法得到的結(jié)果在細(xì)節(jié)的保持方面要優(yōu)于普通的POCS算法得到的結(jié)果。</p><p>　　實(shí)驗(yàn)結(jié)果表明保留邊緣信息的POCS超分辨率圖像重建算法是可行的，并且重建的圖像效果比普通的POCS算法重建圖像的效果有了明顯的提高。 </p><p><b>　　5 結(jié)論</b></p><p><b>　　5.1 論文總結(jié)</b

95、></p><p>　　本文簡要回顧圖像序列的超分辨重構(gòu)的發(fā)展現(xiàn)狀，綜合考察了超分辨率及超分辨率復(fù)原的國內(nèi)外發(fā)展現(xiàn)狀，對SR重構(gòu)的可行性進(jìn)行了理論分析，建立了SR重建的空域模型。并介紹了超分辨率復(fù)原中的基本理論知識和基礎(chǔ)技術(shù)，按照超分辨率復(fù)原技術(shù)的發(fā)展過程，詳細(xì)闡述了超分辨率復(fù)原技術(shù)的各種方法，重點(diǎn)分析了目前的一些主流方法，并對各種主流方法的性能進(jìn)行了比較。針對目前某些方法的不足，提出了一些改進(jìn)的算法。本論

96、文的主要研究工作主要包括以下幾個方面：</p><p>　?。?）考察了高分辨率場景經(jīng)成像系統(tǒng)時逐步退化的整個過程，并用數(shù)學(xué)模型描述了這個過程，從而建立起超分辨率復(fù)原模型；將基于圖像配準(zhǔn)的運(yùn)動參數(shù)估計(jì)方法運(yùn)用于超分辨率復(fù)原技術(shù)中，提高了復(fù)原序列圖像運(yùn)動信息的估計(jì)精度和估計(jì)速度，為圖像超分辨率復(fù)原的各個環(huán)節(jié)提供基礎(chǔ)。</p><p>　　（2）對POCS算法進(jìn)行了比較深入的研究，對影響算法的

97、各個因素進(jìn)行了分析，并對其中的初值選取的方法進(jìn)行改進(jìn)，提出了一種改進(jìn)的凸集投影算法，并通過試驗(yàn)證明了本文改進(jìn)的方法能夠重建后的圖像的邊緣起到很好的保護(hù)作用。不管是從視覺上還是對重建后的圖像進(jìn)行客觀上的評價，都有很大的改進(jìn)。</p><p><b>　　5.2 展望</b></p><p>　　雖然目前的超分辨率研究己經(jīng)取得了比較大的成就，但是仍然不能滿足現(xiàn)在實(shí)際圖像處

98、理領(lǐng)域要求的日益提高，而超分辨率作為一種切實(shí)可行的、有效的圖像處理方法，以其優(yōu)越的性能及廣泛的應(yīng)用，必將越來越受到人們的推崇，也必將會更得到更大的發(fā)展。今后的超分辨率研究主要需要從以下幾個方面進(jìn)行改進(jìn)：</p><p>　　(1) 如何建立更加符合實(shí)際情況的圖像模型</p><p>　　目前的超分辨率重建算法的成像模型都做了某些假設(shè)，忽略了一些更一般的問題，因而具有一定的局部性，不能適合于

99、所有的應(yīng)用場合。實(shí)際成像過程中包含了各種退化，包括各種模糊、各種噪聲、各種運(yùn)動等，建立、擴(kuò)展反映成像系統(tǒng)降質(zhì)過程的精確觀測模型，能使算法具有更好的適應(yīng)性，進(jìn)一步提高SR復(fù)原技術(shù)的性能。此外將圖像的先驗(yàn)信息有效的引入退化，可以使復(fù)原效果更好。</p><p>　　(2) 超分辨率圖像重構(gòu)算法的創(chuàng)新研究</p><p>　　高分辨率圖像恢復(fù)的算法在圖像運(yùn)動估計(jì)、圖像模糊估計(jì)方面需要進(jìn)一步研究。

100、在運(yùn)動估計(jì)方面，如果能準(zhǔn)確的得到圖像序列的運(yùn)動場就可以從足夠多幀的</p><p>　　低分辨率圖像序列中完全復(fù)原出投影到成像平面上的圖像率復(fù)原成功的關(guān)鍵是魯棒的、具有子像素精度的運(yùn)動估算技術(shù)。這樣，超分辨超分辨圖像復(fù)原算法的計(jì)算量非常大，為了將超分辨復(fù)原技術(shù)應(yīng)用于實(shí)際情形，開發(fā)一些計(jì)算效率高的超分辨算法是很重要的。如何將新的數(shù)學(xué)算法引入到超分辨率算法中，提高超分辨率恢復(fù)的能力、減小運(yùn)算量、加快運(yùn)算的收斂速度，成

101、為實(shí)時研究的主要工作。除了圖像序列本身以外，實(shí)際應(yīng)用中還可以得到許多關(guān)于被拍攝景物的先驗(yàn)信息。這是超分辨率算法的另一個信息來源。先驗(yàn)信息在超分辨率中的運(yùn)用與其它圖像處理和分析環(huán)節(jié)相互關(guān)聯(lián)，成為超分辨率算法研究的新熱點(diǎn)。另外，針對模型誤差以及不同類型的噪聲具有較強(qiáng)穩(wěn)健性和適應(yīng)性的算法，也是實(shí)際應(yīng)用中所需的。</p><p>　　(3) 如何擴(kuò)展超分辨率的應(yīng)用</p><p>　　要將超分辨率

102、復(fù)原擴(kuò)展到多通道和彩色圖像、三維立體成像、動態(tài)多媒體序列、壓縮圖像、CCD陣列成像和核磁共振成像的超分辨率恢復(fù)與增強(qiáng)。將超分辨率技術(shù)應(yīng)用于彩色超分辨率算法和超分辨率算法在壓縮系統(tǒng)中，是今后超分辨率技術(shù)發(fā)展的重要方向。彩色超分辨率重建中一個重要的問題是對顏色濾波器陣列和顏色插值過程的特性進(jìn)行分析，并要考慮到重建過程中顏色成分之間的交叉相關(guān)性。圖像在傳輸和保存之前需要進(jìn)行例行壓縮，因此有必要將超分辨率算法應(yīng)用于壓縮系統(tǒng)中。</p>

103、;<p>　　總之，對超分辨率重建技術(shù)的進(jìn)一步深入研究必將導(dǎo)致這一技術(shù)拓寬到一些新的應(yīng)用領(lǐng)域。</p><p><b>　　參考文獻(xiàn)</b></p><p>　　[1] 沈煥鋒，李平湘，張良培等. 圖像超分辨率重建技術(shù)與方法綜述[J]. 光學(xué)技術(shù)， 2009, 35(2): 194-199.</p><p>　　[2] 浦劍，張軍

104、平，黃華. 超分辨率算法研究綜述[J]. 山東大學(xué)學(xué)報(bào)， 2009, 39(1): 27-32.</p><p>　　[3] 劉良云，李英才，相里斌. 超分辨率圖像重構(gòu)技術(shù)的仿真實(shí)驗(yàn)研究[J]. 中國圖象圖形學(xué)報(bào), 2001, 6A(6): 629-635.</p><p>　　[4] 彭潔，徐啟飛，呂慶文，等. 一種快速超分辨率圖像重建算法[J]. 南方醫(yī)科大學(xué)學(xué)報(bào)，2009, 29

105、(4): 656-658.</p><p>　　[5] 朱福珍， 李金宗，李冬冬. 基于BP神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建[J]. 系統(tǒng)工程與電子技術(shù)，2009，31(7): 1746-1749.</p><p>　　[6] KimS.P.,SuW.Y. Recursive high-resolution reconstruction of blurred multiframe images[