基于pde與紋理合成的馬賽克修復(fù)研究

1、<p><b>　　畢業(yè)設(shè)計(論文)</b></p><p><b>　　( 2011屆 )</b></p><p>　　論文題目 基于PDE與紋理合成的 </p><p><b>　　馬賽克修復(fù)研究</b></p><p>　　Research of Mosaic

2、 Inpainting</p><p>　　Based on PDE and Texture Synthesis</p><p>　　學(xué) 生 姓 名： 朱 瓊 學(xué)號： 0707080601145 </p><p>　　二級學(xué)院名稱： 電子信息學(xué)院 專業(yè)： 廣播電視工程 </p><p>　　指 導(dǎo) 教

3、師： 練益群 職稱： 教授 </p><p><b>　　鄭 重 聲 明</b></p><p>　　我謹(jǐn)在此鄭重聲明：本人所寫的畢業(yè)論文《 基于PDE與紋理合成的馬賽克修復(fù)研究》均系本人獨立完成，沒有抄襲行為，凡涉及其他作者的觀點和材料，均作了注釋，若有不實，后果由本人承擔(dān)。</p><p>　　承諾人

4、（簽名）： </p><p>　　年 月 日</p><p>　　基于PDE與紋理合成的馬賽克修復(fù)研究</p><p>　　摘要:隨著視頻技術(shù)的飛速發(fā)展與數(shù)碼電子產(chǎn)品的日益普及，高質(zhì)量圖像及其序列的采集與處理已成為一個非常活躍的研究領(lǐng)域。而去馬賽克是其中一項必不可少的關(guān)鍵性技術(shù)。</p><p>　　視頻修復(fù)是圖像修復(fù)的

5、推廣，圖像修復(fù)的目的是根據(jù)圖像現(xiàn)有的信息來自動恢復(fù)丟失的信息。圖像修復(fù)問題主要關(guān)心圖像中與視覺效果密切相關(guān)的結(jié)構(gòu)和紋理兩類信息。對應(yīng)于這兩類信息，基于偏微分方程的修復(fù)方法和基于紋理合成的方法各自取得了一定的發(fā)展。然而這兩種方法存在各自的優(yōu)缺點，且具有一定的互補(bǔ)性，為了獲得更好的修復(fù)效果，考慮將二者結(jié)合起來綜合分析。</p><p>　　BSCB算法采取的是全局式搜索方式，搜索匹配塊的過程比較費時，本文研究的是馬賽

6、克缺陷視頻的修復(fù)，視頻序列數(shù)據(jù)的龐大使得修復(fù)計算的高效性變得愈發(fā)困難。因而，本文的主要工作是在BSCB模型算法的基礎(chǔ)上做出了相應(yīng)的改進(jìn)。</p><p>　　最后，論文對所提出的算法進(jìn)行了大量的實驗仿真，實驗結(jié)果證明了算法的有效性。</p><p>　　關(guān)鍵詞：圖像修復(fù)；去馬賽克；偏微分方程；紋理合成</p><p>　　RESEARCH OF MOSAIC INP

7、AINTING BASED ON </p><p>　　PDE AND TEXTURE SYNTHESIS</p><p>　　Abstract: With the rapid development of video technology and the popularization of digital products, the collection and disposal of

8、image and its sequence which is of high quality, become as an active field，in which demosaic is a necessary key technique.</p><p>　　Video inpainting is an extension of image inpainting. The objective of imag

9、e inpainting is to restore the lost information according to around image information, Image inpainting mainly concerns with structural and textural information, which is closely connected with the visual effect of the i

10、mage．Corresponded with the two sorts of information, the inpainting methods based on PDE and on texture synthesis developed to a certain extent respectively．However, there are both relative merits and comp</p><

11、;p>　　BSCB algorithm is based on globally searching the source patch, which leads to a time consuming process of searching matching patches. What’s more, this paper mostly concentrates on the restoring of mosaic video,

12、 the enormous image sequences make efficiently inpainting much more difficult. Hence, my work is to put forward improved algorithm based on previous research of BSCB algorithm to improve the performance of the image rest

13、ored.</p><p>　　At last, based on the theoretical analysis, lots of numeric experiments are performed, and the experimental results verify the improvements of the proposed algorithm.</p><p>　　Key

14、 words：image inpainting; demosaic; partial differential equation; texture synthesis</p><p><b>　　目 錄</b></p><p><b>　　1 緒論1</b></p><p>　　1.1 研究背景1</p>

15、<p>　　1.2 國內(nèi)外現(xiàn)狀1</p><p>　　1.3 研究的目的與意義2</p><p>　　2傳統(tǒng)手工修復(fù)和數(shù)字圖像修復(fù)的對比3</p><p>　　2.1 手工修復(fù)3</p><p>　　2.2 數(shù)字圖像修復(fù)4</p><p>　　3馬賽克缺陷視頻修復(fù)的概要研究5</p>

16、<p>　　3.1 馬賽克缺陷視頻產(chǎn)生原因6</p><p>　　3.2 馬賽克故障圖像特點總結(jié)6</p><p>　　3.3 馬賽克缺陷視頻幀修復(fù)原理6</p><p>　　3.4 馬賽克缺陷視頻修復(fù)設(shè)計思路8</p><p>　　4 馬賽克缺陷視頻修復(fù)的詳細(xì)設(shè)計8</p><p>　　4.1

17、馬賽克修復(fù)算法原理及其步驟8</p><p>　　4.1.1 BSCB模型9</p><p>　　4.1.2 算法的改進(jìn)10</p><p>　　4.1.3 本文算法流程13</p><p>　　4.2 算法的核心部分14</p><p>　　4.2.1 優(yōu)先權(quán)的設(shè)定14</p><p&

18、gt;　　4.2.2 最佳匹配塊的選擇14</p><p>　　4.2.3 紋理合成過程16</p><p>　　4.3 馬賽克缺陷視頻修復(fù)處理流程17</p><p>　　5 馬賽克缺陷視頻修復(fù)的實驗與測試18</p><p>　　5.1 馬賽克缺陷視頻修復(fù)的實現(xiàn)18</p><p>　　5.1.1 實現(xiàn)平

19、臺18</p><p>　　5.1.2 運行環(huán)境18</p><p>　　5.1.3 視頻序列的獲取和合成19</p><p>　　5.2 馬賽克修復(fù)測試19</p><p>　　5.3 馬賽克缺陷幀的修復(fù)19</p><p>　　5.4 算法比較20</p><p>　　5.4.1

20、 修復(fù)效果比較20</p><p>　　5.4.1 用時比較21</p><p>　　6 總結(jié)和展望21</p><p><b>　　6.1 總結(jié)21</b></p><p><b>　　6.2 展望22</b></p><p><b>　　致 謝24&

21、lt;/b></p><p><b>　　參考文獻(xiàn)25</b></p><p><b>　　1 緒論</b></p><p><b>　　1.1 研究背景</b></p><p>　　隨著視頻技術(shù)的飛速發(fā)展與數(shù)碼電子產(chǎn)品的日益普及，高質(zhì)量圖像及其序列的采集與處理已成為一

22、個非?；钴S的研究領(lǐng)域，通過利用圖像分割、圖像識別、圖像修復(fù)等技術(shù)來對視頻幀信息進(jìn)行處理使其成為高質(zhì)量的視頻已成為熱門應(yīng)用領(lǐng)域之一。人類自身生存和活動在一個多維的宇宙空間當(dāng)中，人類認(rèn)識世界最為直接的方式就是通過視覺獲得圖像，視覺為我們提供了60％的信息來源[1]，“百聞不如一見”、“一圖值千字”，可以毫不夸張的說，21世紀(jì)是信息獲取處理及其應(yīng)用世紀(jì)，更是視頻圖像處理和應(yīng)用的世紀(jì)。</p><p>　　以往視頻資料的

23、存儲介質(zhì)一般為膠片、光盤、磁帶等，而膠片上化學(xué)物質(zhì)隨著時間在空氣中的退化反應(yīng)以及以前膠片保存技術(shù)的落后，很多影片無法良好地保存，或者損壞或者丟失或者老化。根據(jù)美國國會圖書館的一個調(diào)查，美國80％的無聲電影已經(jīng)無法修復(fù)；另一個報告指出：90％的1930年以前拍攝的無聲電影和50％的1950年以前拍攝的無聲電影已經(jīng)完全損壞。國內(nèi)這方面的統(tǒng)計不得而知，但是我國電影膠片的保存手段和意識相比國外更加落后[2]。因此可以推斷，我國有很多的舊電影存在

24、嚴(yán)重的質(zhì)量損傷情況。而電視臺最重要的媒體實體就是歷年保持的視音頻節(jié)目和素材資料，這些資產(chǎn)具有很高的價值，甚至超過設(shè)備等固定的有形資產(chǎn)。因而如何修復(fù)這些電影資料并對其進(jìn)行數(shù)字化存儲已經(jīng)成為迫在眉睫的任務(wù)[3]。同時，由于以前的電影制作設(shè)備本身的一些欠缺以及電影膠片在拷貝、播放和存放過程中不可避免地受到一些損傷，現(xiàn)保存下來的影片出現(xiàn)了諸如馬賽克、抓痕、閃屏、花屏、靜幀等問題，視覺效果上大打折扣。如不及時對這些影片進(jìn)行翻新修復(fù)工作，這些保存下

25、來的影片也將不復(fù)存在。因此，將這些保存下來的影片及時進(jìn)行翻新修復(fù)是一項很緊急的任務(wù)。而Demosaic(去</p><p><b>　　1.2 國內(nèi)外現(xiàn)狀</b></p><p>　　圖像修復(fù)有著悠久的歷史，最早可以追溯到歐洲文藝復(fù)興時期，為了恢復(fù)遭受破壞的美術(shù)作品，藝術(shù)家們利用人的感知力和想象力對作品的裂痕等受損區(qū)域進(jìn)行修補(bǔ),使其恢復(fù)和保持圖像的完整性。近年來，研究

26、者將藝術(shù)品修復(fù)的概念引入數(shù)字圖像和視頻的處理過程，提出了數(shù)字圖像視頻修復(fù)的概念[4]。</p><p>　　數(shù)字圖像修復(fù)inpainting一詞最初是由Bertalmio引入到圖像修復(fù)領(lǐng)域的，自從Bertalmio最早期的工作以后，數(shù)字圖像修復(fù)技術(shù)就得到了廣泛的應(yīng)用。近些年，國內(nèi)外發(fā)表的圖像修復(fù)方面的論文提出了很多卓有成效的修復(fù)模型和方法。其中具有代表性的一類是用于小尺度缺損目標(biāo)修復(fù)的圖像修復(fù)技術(shù)，其核心思想是一

27、種基于偏微分方程(PDE)的算法，另一類是基于紋理合成的模型和方法。</p><p>　　基于偏微分方程的修復(fù)模型就是將圖像修復(fù)過程轉(zhuǎn)化為一系列的偏微分方程或能量泛函模型，從而通過數(shù)值迭代和智能優(yōu)化的方法來處理圖像。該類算法對裂縫、污點、劃痕、文字覆蓋等小尺度破損區(qū)域的修復(fù)取得了良好的效果。然而，對于大尺度的破損待修復(fù)區(qū)域，修復(fù)結(jié)果則會產(chǎn)生明顯的模糊現(xiàn)象。對于待修復(fù)區(qū)域及其周圍的紋理相當(dāng)豐富時,也得不到很好的效果

28、?；诩y理合成的圖像修復(fù)在可用候選區(qū)域?qū)ふ摇跋嗨频摹眳^(qū)域，拷貝至對應(yīng)待修復(fù)區(qū)域，重建圖像細(xì)節(jié)信息，但是受限于線形結(jié)構(gòu)，當(dāng)不同的特征區(qū)域相遇時通常不連續(xù)。</p><p>　　圖像修復(fù)問題主要關(guān)心圖像中與視覺效果密切相關(guān)的結(jié)構(gòu)和紋理兩類信息。如果說圖像的結(jié)構(gòu)相當(dāng)于圖像的骨骼，那么圖像的紋理就相當(dāng)于圖像的血肉，圖像的完整性除了骨骼的完整還必須包含血肉的完整。對應(yīng)于這兩類信息，基于偏微分方程的修復(fù)方法和基于紋理合成的方

29、法各自取得了一定的發(fā)展。具體地講，基于偏微分方程的方法由于不適用于刻畫紋理信息無法修復(fù)紋理，而基于紋理合成的修復(fù)方法在結(jié)構(gòu)信息方面具有弱勢，容易造成人工邊界。兩種方法存在各自的優(yōu)缺點，且具有一定的互補(bǔ)性，為了獲得更好的修復(fù)效果，考慮將二者結(jié)合起來綜合分析。這樣的修復(fù)結(jié)果比單純采用結(jié)構(gòu)修復(fù)方法或紋理修復(fù)方法效果要好，這也是當(dāng)今國內(nèi)外數(shù)字圖像修復(fù)技術(shù)的發(fā)展趨勢[5]。如圖1.1所示。</p><p>　　圖1.1 數(shù)

30、字圖像修復(fù)技術(shù)發(fā)展方向</p><p>　　1.3 研究的目的與意義</p><p>　　為了恢復(fù)視頻信息的“合理”和“完整”性以便觀察者識別和理解，需要對這些受損的視頻幀進(jìn)行填充修復(fù)。</p><p>　　對視頻幀的圖像修復(fù)就是對圖像上信息缺損區(qū)域進(jìn)行信息填充的過程，其目的就是為了對有信息缺損的圖像進(jìn)行恢復(fù),并且要使觀察者無法察覺到圖像曾經(jīng)缺損或已被修復(fù)。本課題根

31、據(jù)視頻幀中馬賽克出現(xiàn)的位置，采用圖像處理和修復(fù)算法對已損壞的幀進(jìn)行修復(fù)。當(dāng)對視頻中每一幀的缺陷都進(jìn)行修復(fù)后，修復(fù)后的舊電影播放的視覺效果就如同電影初次播放時的視覺效果。</p><p>　　雖然目前有一些功能強(qiáng)大的圖像處理軟件，例如Photoshop，也可以對殘缺的數(shù)字圖像進(jìn)行修補(bǔ)，但是需要有經(jīng)驗的專業(yè)技術(shù)人員進(jìn)行復(fù)雜的手工處理，無法達(dá)到計算機(jī)自動處理的目的，而且處理效率低下，需要較長時間才能完成一幅圖像的處理。

32、另外對于視頻圖像修補(bǔ)這樣的大數(shù)據(jù)量操作，人工處理更是不現(xiàn)實。因此，現(xiàn)在圖像修補(bǔ)技術(shù)的研究旨在尋找更智能化、修復(fù)效果更好的算法，只需要用戶簡單地選擇需要修復(fù)的區(qū)域，計算機(jī)就那根據(jù)圖像的特征信息自動地完成修補(bǔ)圖像的工作，顯著減少處理時間，提高工作效率，完成一些人力難于完成的任務(wù)。</p><p>　　綜上可見，研究自動圖像修復(fù)技術(shù)具有十分重要的實踐和理論意義。該技術(shù)的研究不僅可以直接作用于人們的日常生活和工作，提高視

33、頻修復(fù)的工作效率，還可以推動智能圖像處理技術(shù)的發(fā)展，使數(shù)字圖像處理技術(shù)得到更廣泛的應(yīng)用。</p><p>　　論文在論述安排上主要分為以下幾個部分：</p><p>　　第一章 簡要介紹缺陷視頻修復(fù)的研究背景和國內(nèi)外現(xiàn)狀以及本課題的主要研究目的和意義。</p><p>　　第二章 簡要介紹傳統(tǒng)手工修復(fù)和數(shù)字圖像修復(fù)的原理，并進(jìn)行了概要的比較和總結(jié)。</p>

34、;<p>　　第三章 概要介紹馬賽克缺陷視頻修復(fù)的概要研究，包括馬賽克圖像特征表現(xiàn)，馬賽克缺陷視頻產(chǎn)生原因，馬賽克缺陷視頻幀修復(fù)原理以及馬賽克缺陷視頻的總體設(shè)計思路。</p><p>　　第四章 詳細(xì)介紹馬賽克缺陷視頻修復(fù)的設(shè)計方法，包括視頻修復(fù)算法的原理、處理流程以及每一步的實現(xiàn)方法。</p><p>　　第五章 進(jìn)行實驗測試，分析數(shù)據(jù)。</p><p&

35、gt;　　第六章 總結(jié)全文，指出自己所做工作以及設(shè)計和論文需要進(jìn)一步改進(jìn)的地方。</p><p>　　2傳統(tǒng)手工修復(fù)和數(shù)字圖像修復(fù)的對比</p><p><b>　　2.1 手工修復(fù)</b></p><p>　　視覺心理學(xué)的分析得出的結(jié)論表明，人類視覺在認(rèn)知圖像的受損區(qū)域時，會對圖像受損區(qū)域有自動填充的功能，且隨著區(qū)域的增大而減弱。同時，人類視

36、覺感知的修復(fù)過程還具有如下三個特點[6]：</p><p>　　(1) 亮度填充要比紋理填充迅速；</p><p>　　(2) 填充取決于鄰域復(fù)雜性以及密度，越規(guī)則越易受辨識；</p><p>　　(3) 填充結(jié)果盡量與鄰域保持一致。</p><p>　　修補(bǔ)技術(shù)是一項古老的藝術(shù)，開始出現(xiàn)是在歐洲文藝復(fù)興時期。當(dāng)時，人們?yōu)榱嘶謴?fù)美術(shù)作品中丟失

37、或被損壞的部分并同時保持作品的整體效果，對中世紀(jì)的美術(shù)品進(jìn)行修復(fù)，這些工作被稱為“retouching（潤飾）”或者“inpainting（修補(bǔ)）”[7]。技術(shù)經(jīng)驗豐富的藝術(shù)館人員在修復(fù)藝術(shù)品時，首先判斷原圖的主體線條走向，連接待修復(fù)區(qū)域內(nèi)的主要線條，然后在此基礎(chǔ)上填充相應(yīng)的背景色，完成結(jié)構(gòu)信息的恢復(fù)，最后在根據(jù)鄰域信息添加必要的細(xì)節(jié)，也就是紋理，使得修復(fù)結(jié)果顯得自然協(xié)調(diào)更符合原圖的風(fēng)貌，得到最終的修復(fù)結(jié)果，可見，手工修復(fù)的過程符合上述

38、人類視覺感知的過程。</p><p>　　2.2 數(shù)字圖像修復(fù)</p><p>　　相比古代的人工修復(fù)技術(shù)，采用計算機(jī)進(jìn)行數(shù)字圖像修復(fù)具有一些優(yōu)點：</p><p>　?。?）采用計算機(jī)處理，自動完成修復(fù)過程，大大減少了人工修復(fù)的勞動強(qiáng)度，為圖像修復(fù)提供了更加方便快捷的途徑；</p><p>　?。?）避免了原件被損壞的風(fēng)險。由于數(shù)字圖像的可

39、復(fù)制性及處理流程的可逆</p><p>　　轉(zhuǎn)性特點，不會損壞原來的圖像；</p><p>　　（3）可以反復(fù)實驗，直到滿意為止。數(shù)字圖像修復(fù)技術(shù)可以在不改變原圖像的基礎(chǔ)上嘗試不同的修復(fù)方法。</p><p>　　在經(jīng)典的近似原理中，平滑修復(fù)允許我們嚴(yán)格的研究修復(fù)的精確性。在許多應(yīng)用中，這些模型并不實際，因為：</p><p>　　（1）許多

40、圖像包括了邊緣及紋理等非光滑的成分，這就決定了圖像的函數(shù)</p><p>　　模型應(yīng)該是非平滑的。</p><p>　　（2）圖像中常常含有噪音。顯然在手工修復(fù)過程中，人類的認(rèn)知能夠很輕松地解決上述的問題，因此在建模的過程中，期望能夠模仿手工修復(fù)的機(jī)制，建立更加可靠的低層的修復(fù)模型。因此，這些特性使建模還原為Helmholtz最佳猜測原理。在被馬賽克覆蓋的區(qū)域中，物體連通的方式只能基于我們

41、所能看到的部分進(jìn)行猜測。類似的，修復(fù)古畫時，修復(fù)者只能根據(jù)已存在的特征從而對丟失部分做出最佳猜測來填充色彩和物體。</p><p>　　文獻(xiàn)總結(jié)了基于視覺感知的圖像修復(fù)規(guī)律[8]：</p><p>　?。?）圖像修復(fù)模型是局部性的。因為我們建立的模型不需要知道圖像的全局信息，待修復(fù)區(qū)域的信息完全由待修復(fù)區(qū)域周圍的已知信息決定。然而，當(dāng)待修復(fù)區(qū)域是一張人的肖像畫，缺損區(qū)域為人的兩只耳朵，這時

42、我們只有根據(jù)先驗知識進(jìn)行修復(fù)，而不能根據(jù)一般的理論進(jìn)行修復(fù)。根據(jù)理論修復(fù)的結(jié)果肯定是沒有耳朵。</p><p>　?。?）圖像修復(fù)模型應(yīng)該能夠修復(fù)窄的被截斷的光滑的邊緣。人眼對灰度值的變化相對來說不是十分敏感，而對于邊緣卻非常敏感。所以邊緣對于圖像配準(zhǔn)和圖像切割都很重要。模型必須能把斷裂的邊緣光滑地連上。</p><p>　?。?）圖像修復(fù)模型應(yīng)該對噪聲具有魯棒性。如果噪聲低于某一門限，眼

43、睛應(yīng)能從含噪聲圖像中提取有用的信息，根據(jù)相似性原理，使用其領(lǐng)域的信息進(jìn)行推斷，并能把有用的信息擴(kuò)散到待修復(fù)區(qū)域。這也就是認(rèn)知規(guī)律中的相似性和簡潔原理。</p><p>　?。?）結(jié)構(gòu)優(yōu)先性。結(jié)構(gòu)線條在視覺感知過程中的起著重要作用，它代表著圖像整體上的趨勢和走向，所以，修復(fù)時首先修復(fù)結(jié)構(gòu)信息以保證圖像整體一致性是很自然的基本原則。則如果先進(jìn)行紋理填充，則有可能會出現(xiàn)雖然細(xì)節(jié)相似，但邊緣連續(xù)性不好，從而使圖像整體有一

44、定偏差。</p><p>　?。?）紋理一致性。紋理其實并不被大腦所重視，如果不仔細(xì)觀察，則只是被看成是相似的物體，而不會主動分辨其中的細(xì)節(jié)。因此，對于紋理修復(fù)，只要沒有出現(xiàn)不同于當(dāng)前紋理的新信息，大腦就不容易察覺。</p><p>　　因而可以得出，圖像修復(fù)問題首先是結(jié)構(gòu)信息的修復(fù)，在結(jié)構(gòu)信息達(dá)到較好修復(fù)效果的基礎(chǔ)上，再盡可能地保持紋理的相似性。這同時解釋了為什么圖像補(bǔ)全問題，即大規(guī)模的

45、圖像破損填充問題，要采用結(jié)構(gòu)和紋理分步或分開處理的手段才能取得更好的視覺效果。然而，由于實際處理的圖像復(fù)雜程度高，類型廣泛，目前為止，還沒有一種可以充分滿足上述所有規(guī)律并對任何破損都具有較好的修復(fù)效果的“包治百病”的算法模型。</p><p>　　3馬賽克缺陷視頻修復(fù)的概要研究 </p><p>　　視頻修復(fù)（Video inpainting）是圖像修復(fù)在時間上的嚴(yán)拓，與圖像修復(fù)有著密切

46、的相關(guān)性。在視頻領(lǐng)域的定義中，幀是影像動畫中最小單位的單幅畫面。我們可以將一段視頻看作是一組圖像的組合。在不同的應(yīng)用中幀頻是不同的，如PAL制式電視系統(tǒng)中幀頻是每秒25幀，NTSC制式電視系統(tǒng)中每秒是30幀，對于電影而言幀頻為每秒24幀。視頻解壓縮后，視頻中幀的排列就是原始視頻序列中一幅幅圖片的組合，此時我們可以將它們看作是一張張圖片，對視頻的處理就轉(zhuǎn)化成對圖像的處理。因而，視頻修復(fù)是圖像修復(fù)的推廣。</p><p&

47、gt;　　從數(shù)學(xué)角度來看，圖像修復(fù)即要根據(jù)待修復(fù)區(qū)域周圍的信息將圖像已知區(qū)域的信息填充到待修復(fù)區(qū)域中，并保證修復(fù)后整個畫面色調(diào)和紋理的連續(xù)性和一致性。同樣的，視頻可以看作一系列圖像幀沿時間軸的演化，因而，可以將視頻看成是三維空間的一個視頻體。二維圖像的修復(fù)模型可以推廣到視頻的修復(fù)模型。</p><p>　　如果采用像素擴(kuò)展的方法將一幅正常的點陣視頻幀圖像不斷地放大幾次，圖像的某些地方就會出現(xiàn)許多不連續(xù)的細(xì)小圖像色

48、塊，這些圖像色塊的出現(xiàn)，在計算機(jī)圖形和圖像處理中稱為圖像的馬賽克現(xiàn)象。馬賽克的特征就是塊狀出現(xiàn)，同一畫面中大小相差不大，塊內(nèi)部色彩相對均勻，而塊相互之間色彩會有突變。視頻馬賽克現(xiàn)象的出現(xiàn)會直接影響對于視頻內(nèi)容的理解和分析。馬賽克現(xiàn)象一般出現(xiàn)在如下幾種情況：1、磁帶因斷磁或老化等原因，上載到硬盤中的磁帶內(nèi)容會出現(xiàn)馬賽克等現(xiàn)象；2、播放質(zhì)量較差的視頻，如果播放畫面過大，同樣有馬賽克現(xiàn)象出現(xiàn)；3、有時由于節(jié)目需要，比如要隱藏人物的有關(guān)信息，也

49、會在特定部位人為地添加馬賽克。</p><p>　　3.1 馬賽克缺陷視頻產(chǎn)生原因 </p><p>　　MPEG對視頻數(shù)據(jù)規(guī)定了層次結(jié)構(gòu)，共分為六層。最高層是視頻序列（VS），其次是圖像組（GOP）、圖像（Picture）、像條（Slice）、宏塊（MB），最低層是像塊（Block）。除宏塊和像塊層之外，其他4層數(shù)據(jù)都具有特定的起始碼，這些起始

50、碼對解碼的同步起著重要的作用，也就是說，一旦傳輸誤碼或其他原因?qū)е率瞻l(fā)失步，通過重新尋找起始碼，可以實現(xiàn)重新同步。宏塊和像塊沒有同步頭，所以宏塊條是MPEG視頻圖像中的最小的同步單位。MPEG采用的這種分層結(jié)構(gòu)使得當(dāng)碼流出現(xiàn)錯誤時，其影響被限制在了相應(yīng)的級別中。宏塊條內(nèi)的錯誤，被限制在條內(nèi)，也即最多影響到一個宏塊條。MPEG-2是基于塊的壓縮編碼方法，因此被損壞的圖像的畸變區(qū)域總是塊或條。馬賽克現(xiàn)象是由于數(shù)字電視傳輸碼流中誤碼率升高和數(shù)

51、據(jù)包丟失而造成的，是傳輸碼流中“塊”或“宏塊”圖像信息丟失在屏幕上的外部表現(xiàn)，表示數(shù)字視頻信號在網(wǎng)絡(luò)中傳輸時已出現(xiàn)某種質(zhì)量問題。宏塊條內(nèi)的錯誤就是因為各種原因造成的碼流的誤碼或數(shù)據(jù)的丟失，誤碼或數(shù)據(jù)的丟失對視頻圖像的影響可能從三個方面產(chǎn)生[9]：</p><p>　　（1）通過預(yù)測編碼方式將錯誤傳播給依賴于錯誤塊進(jìn)行解碼的圖像。</p><p>　?。?）誤碼影響解碼器的解碼進(jìn)程，導(dǎo)致解碼

52、停止。</p><p>　?。?）誤碼導(dǎo)致解碼出的數(shù)據(jù)錯誤，致使顯示圖像不正確。 </p><p>　　3.2 馬賽克故障圖像特點總結(jié)</p><p>　　依據(jù)3.1節(jié)馬賽克故障圖像產(chǎn)生的原因及其過程可見馬賽克圖像的特點如下：</p><p>　?。?）由誤碼直接影響的畸變區(qū)域、誤碼導(dǎo)致解碼器解碼停止的畸變區(qū)

53、域以及由DC系數(shù)的差分脈沖調(diào)制編碼導(dǎo)致的畸變區(qū)域的位置在宏塊條行上，也就是16行的整數(shù)倍區(qū)域內(nèi)。且畸變區(qū)域在同一水平行內(nèi)，從被腐蝕的宏塊或塊起，至被腐蝕的宏塊條結(jié)束止?；儏^(qū)域為規(guī)則的條或塊狀。</p><p>　?。?）畸變區(qū)域內(nèi)部可能是黑色(如解碼器停止造成的)或是與周圍區(qū)域的連續(xù)性被破壞的帶畸變的畫面(如DC系數(shù)偏大或偏小，運動向量錯誤)。</p><p>　?。?）由于誤碼位置的不

54、同，會造成畸變區(qū)域的起始形狀的區(qū)別。</p><p>　?。?）由于幀間預(yù)測造成的畸變區(qū)域的擴(kuò)散，隨著預(yù)測的不斷推進(jìn)，畸變區(qū)域也進(jìn)行擴(kuò)散，但是畸變區(qū)域的條或塊狀特征會越來越不明顯。</p><p>　　（5）在數(shù)字電視的馬賽克檢測中，其目的是發(fā)現(xiàn)演播等故障，其產(chǎn)生的誤碼均為突發(fā)性誤碼，其誤碼的數(shù)量往往較大，所以一般情況下其產(chǎn)生的畸變區(qū)域也具有較大的范圍。</p><p&

55、gt;　　3.3 馬賽克缺陷視頻幀修復(fù)原理</p><p>　　視頻幀修復(fù)，就是利用使獲得的圖像產(chǎn)生退化的先驗知識，建立退化圖像數(shù)學(xué)模型，然后沿著圖像退化的逆過程加以重建和復(fù)原，以獲得“清晰和干凈”的圖像。</p><p>　　圖像修復(fù)的一般模型是：函數(shù)表示原始圖像，這是未知的，是我們想找到的。其中表示圖像域。用函數(shù)表示描述與相同場景的觀測圖像，它是退化的，已知的，我們稱其為數(shù)據(jù)，是加性噪

56、聲。一般假設(shè)其服從正態(tài)分布：</p><p>　　(3.1)其中是影響圖像失真的因子，表示原始圖像，是己知的圖像。圖像修復(fù)問題就是從已知圖像得到恢復(fù)圖像[10]。</p><p>　　數(shù)字圖像修復(fù)技術(shù)是從人的視覺心理角度出發(fā)，根據(jù)被遮物體的邊緣信息，</p><p>　　按照一定的方向進(jìn)行延伸擴(kuò)展、邊界連接，填充被遮蔽的部分，達(dá)到視覺上的連通，模擬出人工修復(fù)的效果。

57、由于因為大多數(shù)物體都是不透明的，一般情況人們靠經(jīng)驗來猜測被遮擋了的物體。同時，世界通常也被認(rèn)為是由一種有序的、完整的方式組成，而不是亂糟糟的、獨立分散的個體。因此，圖像修復(fù)的建模過程一般依賴Helmholtz最佳猜測原理。</p><p>　　Helmholtz基本原理指出[11]：在給定傳感數(shù)據(jù)的情況下，我們所感覺到的一切是基于現(xiàn)實世界的狀態(tài)而做出的最佳猜測。</p><p>　　另外，

58、一個實用的圖像修復(fù)模型應(yīng)該能夠從含有噪聲的圖像中提取出干凈的圖像，并且從剩余的圖像信息中猜測出最佳的丟失信息，因而依據(jù)最佳猜測原理</p><p>　　建立的圖像修復(fù)模型是自然的。</p><p>　　最佳猜測原理是用統(tǒng)計的方法研究問題，它和貝葉斯理論對現(xiàn)實世界的分析類似。在決定性方法論中，最佳猜測原理通過最優(yōu)化能量泛函實現(xiàn)[12]。因此它的困難點在于提出感覺上有意義的能量泛函。</

59、p><p>　　圖像恢復(fù)就是利用受到污染的圖像恢復(fù)干凈的圖像,根據(jù)最佳猜測原理，就是求Bayesian最大后驗概率，即求使最大的，根據(jù)貝葉斯公式可以將問題轉(zhuǎn)化[13]。</p><p>　　由貝葉斯公式：，是個常數(shù) (3.2)且若圖像給定，則是固定的常數(shù)，可以得到：</p><p>　　，是個常數(shù) (

60、3.3)</p><p>　　從上式我們看到，的估計依賴于兩點，即觀測到的圖像與的聯(lián)系和基于最佳猜測而建立的圖像先驗概率。具體說來，基于貝葉斯框架的圖像恢復(fù)模型分兩部分：</p><p>　　l、先驗?zāi)Ｐ停骸鎸嵉膱D像應(yīng)該滿足什么樣的性質(zhì)。</p><p>　　2、數(shù)據(jù)模型：——觀測到的圖像是怎樣從理想圖像獲得的，即觀測圖像和理想圖像的聯(lián)系。</p>

61、<p>　　3.4 馬賽克缺陷視頻修復(fù)設(shè)計思路</p><p>　　圖像修復(fù)算法有如下步驟：</p><p>　　（1）人工選定需要修復(fù)的區(qū)域，并通過在受損區(qū)域涂上顏色等方式以便算法識別；</p><p>　　（2）由待修復(fù)區(qū)域外邊界向區(qū)域內(nèi)部不斷擴(kuò)散紋理信息，亦即用待修復(fù)區(qū)域邊界外面的已知圖像信息來填充未知區(qū)域內(nèi)空白塊的像素點。</p>

62、<p>　　通過了解視頻基本結(jié)構(gòu)，提取含有馬賽克缺陷的視頻幀，以手動的方式借助相應(yīng)視頻處理技術(shù)及媒體編輯軟件對視頻的馬賽克缺陷區(qū)域進(jìn)行定位，再根據(jù)當(dāng)前幀受損區(qū)域與其外邊界的區(qū)域自相似性來完成馬賽克消除后的空白塊。用像素亮度梯度表示亮度變化方向，二次微分表示像素變化的速率，通過解基于馬賽克附近區(qū)域像素的偏微分方程，獲取修復(fù)最大適應(yīng)概率，再通過紋理合成技術(shù)填補(bǔ)馬賽克消除后所殘留的空白塊。為了提高處理速度和修復(fù)質(zhì)量，可以通過降維并迭

63、代求精等方式來優(yōu)化處理空間，從而減少解搜索范圍。在對每一馬賽克缺陷視頻幀完成修復(fù)后，再合成為視頻序列，從而實現(xiàn)對視頻馬賽克缺陷的修復(fù)。</p><p>　　總體設(shè)計流程如圖3.1所示。</p><p>　　圖3.1 總體設(shè)計流程圖</p><p>　　4 馬賽克缺陷視頻修復(fù)的詳細(xì)設(shè)計</p><p>　　4.1馬賽克修復(fù)算法原理及其步驟<

64、;/p><p>　　本文馬賽克缺陷修復(fù)算法依據(jù)BSCB(Bertalmio—Sapiro—Caselles—Ballester)的算法模型，主要針對視頻序列數(shù)據(jù)龐大以致修復(fù)耗時的問題對算法做出了相應(yīng)的改進(jìn)從而實現(xiàn)對馬賽克缺陷視頻的修復(fù)。</p><p>　　4.1.1 BSCB模型</p><p>　　在詳細(xì)介紹這項技術(shù)之前，先來分析下這方面專家是如何去修復(fù)的。對于這種

65、工作，明尼阿波利斯文學(xué)藝術(shù)學(xué)院的討論使我們更清晰圖像修復(fù)不同于藝術(shù)和專業(yè)工作，它是一種非常主觀的過程。這里不存在解決問題的特定方式，而是遵循以下基本的方法論[14]：</p><p>　　（1）保持修復(fù)后圖像的完整性，圖像的整體性決定了如何修復(fù)破損區(qū)域，而修復(fù)的目的就是要恢復(fù)圖像的完整性。</p><p>　?。?）修復(fù)區(qū)域周圍區(qū)域的結(jié)構(gòu)必須延伸到修復(fù)區(qū)域中，通過對到達(dá)修復(fù)區(qū)域邊界的延長畫

66、出輪廓。</p><p>　?。?）修復(fù)后區(qū)域中不同的區(qū)域是由等照度線來劃分的，各區(qū)域的顏色要和邊緣外部的顏色保持一致。</p><p>　?。?）細(xì)節(jié)部分即紋理必須添加。</p><p>　　從這些被專業(yè)人員應(yīng)用的基本圖像修補(bǔ)規(guī)則中可以很快學(xué)到很多知識經(jīng)驗。BSCB算法同時并且反復(fù)地執(zhí)行了上述的準(zhǔn)則（2）和（3），通過延伸邊界區(qū)域的等照度線進(jìn)入待修復(fù)區(qū)域以實現(xiàn)圖像

67、修復(fù)。</p><p>　　BSCB模型是各向異性擴(kuò)散，使得等照度線延長時保持了它與邊界的交角，因此修復(fù)效果更接近人的視覺感受。所謂等照度線就是灰度值在同一等級上的一系列點所組成的線，直觀來講，就是被照面上相同亮度的點組成的曲線。</p><p>　　圖像中兩種最基本的要素即像素點的灰度和梯度（或邊緣）信息。各像點的灰度是構(gòu)成一幅圖像的基礎(chǔ)，而梯度則是構(gòu)成圖像邊緣輪廓的要素，圖像最重要的結(jié)

68、構(gòu)特征是邊緣，所謂邊緣是指其周圍像素灰度有階躍變化或屋頂變化的那些像素的集合，它存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)域、基元與基元之間。因此，它是圖像分割所依賴的最重要的特征，也是紋理特征的重要信息源和形狀特征的基礎(chǔ)。</p><p>　　在一幅具有豐富自然紋理結(jié)構(gòu)的背景包圍著一位蹦極者的圖像中，如4.1(a)所示。背景和人物內(nèi)部各像點分別具有各自不同的灰度值，而這些像點的梯度值為零，在背景和人物之間的邊界區(qū)域

69、內(nèi)的像點，其梯度值不為零，如圖4.1(b)所示。一般像素的梯度方向，是像素值在空域上變化最大的方向，而其垂直方向即為等照度線的方向。在BSCB算法模型中，圖像的修復(fù)信息沿等照度線的方向進(jìn)行擴(kuò)散。像素的梯度值和梯度方向很好地反映了圖像中微小的細(xì)節(jié)反差和紋理特征變化，4.1(c)可以清晰地看到放大后的部分邊界區(qū)域的梯度方向，該圖給出了各像點與其領(lǐng)域像點的空間關(guān)系，對圖像的紋理能很好地描繪，對于具有方向性的紋理亦可從梯度的方向上反映出來。&l

70、t;/p><p>　　(a) 原圖 (b) 待修復(fù)區(qū)域邊界 (c) 部分區(qū)域邊界的</p><p>　　的全圖梯度方向 梯度方向</p><p>　　圖4.1 邊界的梯度</p><p>　　(a)為蹦極者原圖， (b)為全圖修復(fù)區(qū)域邊界的梯度方向，為了清晰的展示梯度方向情況，將(b)中用黑色方框標(biāo)記區(qū)域的

71、梯度在(c)中放大顯示。</p><p>　　BSCB算法的具體描述如下：表示要修復(fù)的區(qū)域，是它的邊界。如圖4.2所示。直觀地說，BSCB模型是：延長達(dá)到的等照度線，并保留達(dá)到時的“角度”。從向內(nèi)，繼續(xù)依此進(jìn)行，同時逐步地彎曲延長的線段，以防止它們相互交叉。在等照度線上所有的點均滿足，到達(dá)邊界上的點的等照度線與邊界的夾角的方向就是與邊界的方向，因此期望信息沿等照度線的方向傳遞。</p><p&

72、gt;　　圖4.2 傳遞的方向可以定義為和梯度垂直的方向</p><p>　　4.1.2 算法的改進(jìn)</p><p>　　自然圖像一般都具有多種紋理區(qū)域，修補(bǔ)目標(biāo)塊應(yīng)與圖像中某種紋理區(qū)域相似而與其它紋理區(qū)域差距較大，而基于BSCB模型的算法不對圖像紋理信息進(jìn)行區(qū)分，一視同仁地采用全搜索策略在全局范圍內(nèi)“盲目”搜索并進(jìn)行修補(bǔ)，運算速度較慢，不僅有可能導(dǎo)致錯誤的匹配塊的出現(xiàn)繼而產(chǎn)生惡性繁衍而且

73、會影響算法的整體性能。本文研究的是馬賽克缺陷視頻的修復(fù)，視頻序列數(shù)據(jù)的龐大使得修復(fù)計算的高效性變得愈發(fā)困難。因而，本文從以下幾個方面對算法進(jìn)行了改進(jìn)。</p><p><b>　?。?）二階導(dǎo)數(shù)</b></p><p>　　二階導(dǎo)數(shù)表示待修復(fù)邊界梯度值的變化量，如果變化量較小時，說明該像素與領(lǐng)近像素的相關(guān)性較大，宏觀統(tǒng)計來說，即待修復(fù)區(qū)域與領(lǐng)域差異性很小，所以采用待修

74、復(fù)區(qū)域鄰近的紋理信息進(jìn)行替代填充，以縮小匹配塊的游走范圍，避免窮盡搜索，從而達(dá)到減少搜索范圍的目的，提高了匹配搜索效率。</p><p>　　匹配塊的變化速度計算流程：</p><p>　　計算窗口塊中各像素一階導(dǎo)數(shù)，獲得匹配塊各像素的變化情況；</p><p>　　并根據(jù)各像素權(quán)重（距離邊緣遠(yuǎn)近不同則權(quán)重不同）統(tǒng)計獲得匹配塊變化值；</p><

75、p>　　對各匹配窗的變化值求導(dǎo)，獲得各匹配塊的變化速度；</p><p><b>　?。?）置信度 </b></p><p>　　置信度反映了待修復(fù)塊中正確接收像素所占的百分比，比值越高表示該待修復(fù)塊中已知像素越多。利用紋理的相關(guān)性原理，待修復(fù)塊的置信度越高，說明它與附近區(qū)域的紋理相關(guān)性越強(qiáng)，因而可減少匹配窗的游走范圍來提高匹配搜索效率。對匹配窗的游走處理流程如

76、圖4.3所示。</p><p>　　圖4.3 匹配窗游走處理流程</p><p>　?。?）匹配窗大小的選擇</p><p>　　匹配窗的尺寸決定了輸出的紋理能否較好的保持輸入紋理的局部紋理特征。如果尺寸過小，則接近于基于像素點的合成，對于紋理的局部統(tǒng)計特性描述較弱；反之，則容易產(chǎn)生視覺上的拼貼效應(yīng)。對于不同類型的紋理塊，匹配窗的尺寸也不同。對于光滑的、大尺度的紋理

77、須采用較大復(fù)制塊以充分捕捉紋理單元的特征；對于復(fù)雜的、小尺度的紋理則采用較小的復(fù)制塊。因而，本文是通過對度量紋理塊的特征包容性來考察所選的匹配窗的尺寸是否合適。紋理塊的特征包容性是指復(fù)制塊所包含的紋理特征與樣本紋理所包含的紋理特征之間的差距。它們之間的差距越小，合成的紋理對樣本的全局特征保持的就越好。</p><p>　　本文采用歸一化灰度直方圖來度量紋理塊的特征包容性，從而對匹配窗的大小進(jìn)行選擇，如圖4.4所示

78、。a(1)為樣本紋理塊，b(1)為9*9大小紋理塊，c(1)為 16*16大小紋理塊，d(1)為24*24大小紋理塊，a(2)為a(1)的RGB分量直方圖，b(2)為b(1)的RGB分量直方圖，c(2)為c(1)的RGB分量直方圖，d(2)為d(1)的RGB分量直方圖。發(fā)現(xiàn)當(dāng)紋理塊大小為24*24時RGB分量直方圖與紋理塊最相似，并采用以上的度量值方法對樣本紋理中可能尺寸計算其歐式距離，發(fā)現(xiàn)針對該圖像采用匹配窗大小為24*24時對紋理的

79、全局特征有比較好的反映。其算法的處理流程如圖4.5所示。</p><p>　　a(1) 樣本圖 b(1) 9*9紋理塊 c(1) 16*16紋理塊 d(1) 24*24紋理塊</p><p>　　a(2) 樣本紋理的RGB分量直方圖</p><p>　　b(2) 紋理塊大小為9*9 c(2) 紋理塊大小為16*16 d(2) 紋理塊大小為24*24

80、</p><p>　　RGB分量直方圖 RGB分量直方圖 RGB分量直方圖</p><p>　　圖4.4 紋理塊RGB分量直方圖</p><p>　　4.5匹配窗大小選擇處理流程</p><p>　　4.1.3 本文算法流程</p><p>　　馬賽克視頻缺陷修復(fù)的算法步驟如圖4.6所

81、示。</p><p><b>　　4.6 算法流程圖</b></p><p>　　4.2 算法的核心部分 </p><p>　　4.2.1 優(yōu)先權(quán)的設(shè)定</p><p>　　修復(fù)的過程依賴于目標(biāo)像素周圍的確定源區(qū)域，像素的領(lǐng)域不同，其周圍的可參考信息也是不同的，邊緣像素的處理順序在很大程度上影響著最終的修復(fù)效果，設(shè)計一

82、個好的邊界像素處理順序可以提高圖像的修復(fù)質(zhì)量。一般應(yīng)同時考慮圖像的結(jié)構(gòu)區(qū)域和紋理區(qū)域，實現(xiàn)二者的良好平衡，主要遵循以下三個原則：</p><p>　?。?）邊緣結(jié)構(gòu)附近的待修復(fù)塊具有較高的修復(fù)優(yōu)先權(quán)；</p><p>　?。?）置信度高（包含已知像素多）的匹配窗具有較高的優(yōu)先權(quán)；</p><p>　?。?）在同等情況下，原則（1）與原則（2）相比，應(yīng)優(yōu)先得到滿足。&

83、lt;/p><p>　　其中原則（1）保證圖像中的邊緣結(jié)構(gòu)具有較高的修復(fù)優(yōu)先權(quán)，原則（2）保證匹配窗中包含已知像素多的塊具有較高的修復(fù)權(quán)，包含已知像素越多，修復(fù)的準(zhǔn)確性越高。原則（3）保證圖像的結(jié)構(gòu)區(qū)域具有最高的修復(fù)優(yōu)先權(quán)，因為結(jié)構(gòu)部分往往包含大量的圖像邊緣信息，對修復(fù)質(zhì)量起決定作用。因而，優(yōu)先權(quán)的計算直接決定了修復(fù)順序，進(jìn)而影響破損區(qū)域圖像的修復(fù)效果。</p><p>　　從上述三點原則可以

84、知道，優(yōu)先權(quán)的大小取決于兩個因素：一個是匹配窗的邊界梯度G，它表示匹配窗中所含結(jié)構(gòu)信息的強(qiáng)弱，保證破損圖像的結(jié)構(gòu)區(qū)域優(yōu)先得到修復(fù)；另一部分是匹配窗的置信度C，它表示匹配窗含已知像素的多少，保證優(yōu)先修復(fù)含已知像素較多的匹配窗，匹配窗內(nèi)的已知信息越多，修復(fù)的結(jié)果也越準(zhǔn)確。邊界梯度G和置信度C相互制約，共同構(gòu)成優(yōu)先權(quán)。修復(fù)塊的優(yōu)先權(quán)P采用式4.1計算[15]。</p><p>　　P=G*C

85、 （4.1）</p><p>　　在完成一個塊的修復(fù)后，這個塊的未知像素區(qū)域得到填充，原先的未知區(qū)域變?yōu)閳D像的已知區(qū)域，置信度值需要被更新，剛剛被填充的像素區(qū)域置信度置為1。處理過程中不斷重建圖像受損區(qū)域，產(chǎn)生新的邊緣區(qū)域，更新權(quán)值和優(yōu)先級，同時從中挑選對應(yīng)時刻具有最大權(quán)值的匹配窗進(jìn)行修補(bǔ)，直到圖像修復(fù)完畢。</p><p>　　總之，優(yōu)先權(quán)P是圖像的特征函數(shù)，反映了

86、匹配窗的置信度和邊界梯度（結(jié)構(gòu)強(qiáng)弱）的綜合特征。用它來決定圖像的修復(fù)順序，能使圖像的修復(fù)全過程有組織地進(jìn)行，符合視覺連通原理，避免了修復(fù)過程中出現(xiàn)的結(jié)構(gòu)撕裂和模糊等現(xiàn)象[16]。</p><p>　　4.2.2 最佳匹配塊的選擇 </p><p>　　通過4.1.2節(jié)對算法做出的改進(jìn)，即對匹配窗大小的選擇以及確定了匹配窗的游走范圍后，如何找到最

87、佳的匹配塊是很關(guān)鍵的，如果匹配規(guī)則選擇的不合理，尋找到的塊填充待修復(fù)區(qū)域后就不能得到很好的修復(fù)效果。</p><p>　　對于輸入的方形匹配窗（包括已知像素信息和待修復(fù)塊，詳見圖4.2.2）和輸出最佳匹配塊中兩個相同形狀的領(lǐng)域或邊界N1和N2 ，它們的相似性（或誤差）可以用兩者之間的歐氏距離來度量，即：</p><p>　　(4.2)其中函數(shù)、、分別表示紋理的紅、綠、藍(lán)三種顏色的特征分量。

88、上述的匹配計算方法，是基于輸入輸出紋理之間的RGB顏色誤差來度量的。</p><p>　　匹配窗與匹配塊之間的相似性度量依據(jù)待匹配窗中已知像素點與匹配塊中相應(yīng)像素的像素值距離來決定。在進(jìn)行塊匹配的過程中，一般需要搜索樣圖中所有領(lǐng)域或紋理塊，然后計算其與輸出紋理中待合成紋理塊之間的相似誤差。</p><p>　　如果樣圖中紋理塊的邊界誤差滿足給定的閾值，則將其設(shè)定為候選紋理塊，然后對所有候選

89、紋理塊與匹配窗紋理塊的誤差值進(jìn)行比較，選取誤差值最小的候選紋理塊設(shè)定為匹配窗的最佳匹配塊。如圖4.7所示，通過比較可以看出，匹配窗(a1)的RGB直方圖(a2)與最佳匹配塊(b1)的RGB直方圖(b2)的差異性最小，也即實現(xiàn)了最佳匹配。</p><p>　　(a1) 匹配窗 (a2) 匹配窗RGB直方圖</p><p>　　(b1) 最佳匹配塊

90、 (b2) 最佳匹配塊RGB直方圖</p><p>　　(c1) 其余候選塊 (c2) 其余候選塊RGB直方圖</p><p>　　4.7 最佳匹配塊的選擇</p><p>　　4.2.3 紋理合成過程</p><p>　　設(shè)圖像中有一任意形狀的待填充區(qū)域，從受損區(qū)域邊界開始向內(nèi)部逐區(qū)域匹配填充。設(shè)定一

91、定大小的方形匹配窗，大小應(yīng)能基本覆蓋紋理結(jié)構(gòu)，比如9*9,16*16等，匹配窗內(nèi)包括已知像素值和待修復(fù)的任意形狀區(qū)域，然后在匹配窗的游走范圍(詳見4.1.2節(jié))內(nèi)尋找和匹配窗相似的窗口，根據(jù)設(shè)定的相似條件，尋找到最佳匹配窗，“拷貝”最佳匹配窗內(nèi)的紋理信息至待修復(fù)塊。這樣從邊緣的待修復(fù)塊開始，逐步向內(nèi)進(jìn)行填充修復(fù)，最終填滿整個受損區(qū)域。如圖4.8所示。算法的處理流程如圖4.9所示。</p><p>　　4.8 紋理

92、合成過程</p><p>　　4.9 紋理合成算法流程圖</p><p>　　4.3 馬賽克缺陷視頻修復(fù)處理流程</p><p>　　馬賽克缺陷視頻修復(fù)整體流程設(shè)計步驟如下：</p><p>　?。?）提取需要修復(fù)的視頻幀；</p><p>　?。?）顯示提取的視頻幀、修復(fù)區(qū)域掩模</p><p&g

93、t;　?。?）顯示邊緣梯度；</p><p>　?。?）基于PDE和紋理合成方法對馬賽克區(qū)域進(jìn)行修復(fù)；</p><p>　?。?）修復(fù)后圖片保存及視頻合成處理。</p><p>　　具體處理流程如圖4.10所示。</p><p>　　圖4.10 馬賽克缺陷視頻處理流程</p><p>　　5 馬賽克缺陷視頻修復(fù)的實驗與

94、測試</p><p>　　5.1 馬賽克缺陷視頻修復(fù)的實現(xiàn)</p><p>　　5.1.1 實現(xiàn)平臺</p><p>　　本實驗采用MATLAB7.9.0實現(xiàn)，MATLAB是由美國Math Works公司于1982年推出的一套高性能的數(shù)值計算和可視化軟件，它集數(shù)值分析、矩陣運算、信號處理和圖形顯示于一體，擁有界面簡潔、友好的用戶環(huán)境。經(jīng)過多年的逐步發(fā)展與不斷完善，現(xiàn)

95、已成為國際公認(rèn)的最優(yōu)秀和最可靠準(zhǔn)確的科學(xué)計算與教學(xué)應(yīng)用軟件之一，是近些年來國內(nèi)外廣泛流行的一種可視化科學(xué)計算標(biāo)準(zhǔn)軟件。MATLAB擁有強(qiáng)大的圖形功能以及世界一流水平的數(shù)值計算函數(shù)庫，它的數(shù)字圖像是以矩陣形式表示的，這意味著MATLAB強(qiáng)大的矩陣運算能力用于圖像處理非常有利，矩陣運算的語法對MATLAB中的數(shù)字圖像同樣適用。因此本次實驗選MATLAB實現(xiàn)視馬賽克視頻缺陷的修復(fù)。</p><p>　　5.1.2 運行

96、環(huán)境</p><p>　?。?）操作系統(tǒng)：Windows 7</p><p>　?。?）CPU：Intel（R）Core (TM) Duo 1.66G</p><p>　?。?）內(nèi)存：1.80G</p><p>　?。?）顯卡：GeForce4MX44</p><p>　　（5）硬盤：120G</p>

97、<p>　　5.1.3 視頻序列的獲取和合成</p><p>　　視頻格式可以分為適合本地播放的本地影像視頻和適合在網(wǎng)絡(luò)中播放的網(wǎng)絡(luò)流媒體影像視頻兩大類。常見的視頻格式有：MPEG、AVI、MOV、ASF、WMV、n AVI、3GP、QuickTime、REAL VIDEO、MKV、DIVX、FLV等，而這眾多的視頻中有效的在Matlab中讀入視頻幀需要適當(dāng)?shù)囊曨l編碼方式，而并非所有的視頻文件格式都滿足

98、。故視頻格式的轉(zhuǎn)換是對于視頻幀在Matlab環(huán)境中能夠被正常讀入的必要環(huán)節(jié)。</p><p>　　在Matlab函數(shù)庫中，可以直接調(diào)用mmread()函數(shù)來實現(xiàn)對于馬賽克缺陷視頻幀的讀取。在此，我們將獲取并裁剪后的缺陷視頻文件進(jìn)行轉(zhuǎn)換，使之成為恰當(dāng)?shù)膍p4格式以便讀取，從而實現(xiàn)將視頻文件轉(zhuǎn)換為圖片序列，再將每幀轉(zhuǎn)成jpg格式圖片，以便接下來進(jìn)行的數(shù)字圖像修復(fù)以及修復(fù)后視頻序列的合成。</p><

99、;p>　　5.2 馬賽克修復(fù)測試</p><p>　　本次實驗通過圖像處理軟件將一幅圖像的部分區(qū)域添加上馬賽克來測試算法修復(fù)的可行性。如圖5.1(a)所示，為添加了馬賽克的圖像，再用綠色填充此區(qū)域，如圖5.1(b)所示。最后由程序?qū)ζ溥M(jìn)行修復(fù)，修復(fù)后的結(jié)果如圖5.1(c)所示。</p><p>　　(a) 添加馬賽克圖片 (b) 待修復(fù)區(qū)域的標(biāo)識 (c) 修復(fù)結(jié)果圖&

100、lt;/p><p>　　5.1 區(qū)域添加馬賽克進(jìn)行的修復(fù)測試</p><p>　　5.3 馬賽克缺陷幀的修復(fù)</p><p>　　實驗樣本采用視頻缺陷檢測軟件檢測出的馬賽克缺陷視頻幀，如圖5.2(a)所示。5.2(b)為對馬賽克缺陷區(qū)域進(jìn)行的標(biāo)識，圖5.2(c)為通過算法進(jìn)行修復(fù)后的視頻幀。由修復(fù)結(jié)果圖可看出，算法較好地恢復(fù)了海岸線的邊緣特征，保證了椰樹斜影的視覺完整性

101、。</p><p>　　(a) 馬賽克缺陷幀 (b) 待修復(fù)區(qū)域的標(biāo)識</p><p><b>　　(c) 修復(fù)結(jié)果幀</b></p><p>　　5.2 馬賽克缺陷幀的修復(fù)</p><p><b>　　5.4 算法比較</b></p><

102、p>　　5.4.1 修復(fù)效果比較</p><p>　　在圖5.3中，原始圖像如圖5.1(a)所示，5.3(a)為BSCB算法的修復(fù)結(jié)果，5.3(b)為本文算法的修復(fù)結(jié)果。仔細(xì)觀察和對比5.3(a)圖和5.3(b)圖，可以發(fā)現(xiàn)5.3(a)圖的黑色框內(nèi)，屋頂和水面上出現(xiàn)了草地，這不符合人們一般的認(rèn)識，屬于修復(fù)錯誤，產(chǎn)生的原因是BSCB算法未進(jìn)行針對圖像紋理特征的合適匹配窗大小的選擇，引發(fā)了一系列錯誤，最終導(dǎo)致不

103、好的修復(fù)結(jié)果。本文改進(jìn)算法通過對待修復(fù)視頻幀的匹配窗口大小的合理選擇，從而更好地保證了紋理的局部特征，修復(fù)結(jié)果更加符合人們的視覺期望，提高了算法的性能。</p><p>　　(a) BSCB算法 (b) 本文算法</p><p>　　5.3 修復(fù)效果比較</p><p>　　5.4.1 用時比較 </p><p&

104、gt;　　本文改進(jìn)算法通過對匹配窗二階導(dǎo)數(shù)和置信度的計算來對匹配窗的游走范圍進(jìn)行了處理，避免了在整幀圖像范圍內(nèi)的全局搜索，從而提高了匹配效率，減少了算法修復(fù)時間。圖5.4為采用BSCB算法和本文算法對相同的馬賽克缺陷視頻幀進(jìn)行修復(fù)所需時間的統(tǒng)計圖（橫坐標(biāo)為馬賽克缺陷視頻幀，縱坐標(biāo)為算法修復(fù)所需的時間，單位為S）。</p><p>　　圖5.4 修復(fù)時間統(tǒng)計圖</p><p><b&g

105、t;　　6 總結(jié)和展望</b></p><p><b>　　6.1 總結(jié)</b></p><p>　　數(shù)字圖像修復(fù)是一種通過迭代的方式來實現(xiàn)對損壞圖像的修復(fù)或者是把一些多余的部分從圖像中移除的圖像處理技術(shù)。它主要是針對圖像中遺失或者損壞的部分，利用未丟失或未被損壞的圖像信息，按照一定的規(guī)則填補(bǔ)，使修復(fù)后的圖像接近或達(dá)到原始圖像的視覺效果。本文創(chuàng)造性地采用了

106、基于PDE與紋理合成的圖像修復(fù)算法，實現(xiàn)了以Matlab作為研究環(huán)境的馬賽克缺陷視頻的修復(fù)。</p><p>　　目前，數(shù)字圖像修復(fù)技術(shù)的發(fā)展主要集中在兩個領(lǐng)域：基于PDE的圖像修復(fù)和基于紋理結(jié)構(gòu)的圖像修復(fù)。前者對于線性結(jié)構(gòu)的填充有較好的效果，后者可以彌補(bǔ)前者無法較好地修復(fù)大面積破損區(qū)域的缺陷。兩種方法各有優(yōu)缺點，因此融合這兩項技術(shù)的優(yōu)點于一體的基于樣本塊紋理合成的修復(fù)算法成了現(xiàn)今圖像修復(fù)研究的熱點。這種算法的核

107、心思想是基于樣本的紋理合成，即從圖像的源區(qū)域復(fù)制像素信息填充進(jìn)待修復(fù)區(qū)域，包含了已有的紋理和結(jié)構(gòu)信息，而區(qū)域之間的結(jié)構(gòu)信息則通過改變匹配窗的填充順序可以得到，這樣既解決了同時生成紋理和結(jié)構(gòu)信息的問題也保持了原有紋理合成算法高效的優(yōu)點。</p><p>　　但是上述算法在搜索匹配塊時采取的是耗時的全局式搜索方式，處理速度較慢，因而，本文在此基礎(chǔ)上通過對匹配窗二階導(dǎo)數(shù)和置信度的計算來對匹配窗的游走范圍進(jìn)行了處理，這樣

108、不但可以避免全局搜索引入的誤匹配，還加快了尋找最佳匹配塊的速度。此外，本文通過對待修復(fù)視頻幀的匹配窗口大小的合理選擇，從而更好地保證了紋理的局部特征，修復(fù)結(jié)果更加符合人們的視覺期望，提高了算法的性能。</p><p>　　通過本次對馬賽克缺陷視頻修復(fù)的研究與實現(xiàn)，作者對數(shù)字圖像修復(fù)技術(shù)和數(shù)字視頻處理技術(shù)有了更深刻的認(rèn)識，基本掌握了實際應(yīng)用技術(shù)的實現(xiàn)能力，包括對算法的研究、開發(fā)環(huán)境等都有了一定的了解。對修復(fù)算法的改