數(shù)字圖像及視頻修復(fù)方法研究.pdf

1、數(shù)字圖像(視頻)修復(fù)是通過從圖像(視頻)的完好區(qū)域提取有效信息，填補(bǔ)圖像(視頻)中丟失信息的過程。數(shù)字圖像(視頻)修復(fù)技術(shù)與復(fù)原技術(shù)不同，圖像修復(fù)的目的不要求修復(fù)結(jié)果還原缺損圖像的本來面目，而是要求修復(fù)結(jié)果保證良好的視覺觀賞性，并且在觀察者沒有見過原圖的情況下不能察覺出圖像內(nèi)容經(jīng)過改動(dòng)。相對(duì)圖像的恢復(fù)、增強(qiáng)、去噪等技術(shù)，圖像修復(fù)技術(shù)因?yàn)槠湓诓僮魃暇哂懈叨鹊淖杂尚圆в幸欢ǖ膴蕵沸裕趫D像處理領(lǐng)域成為備受矚目的應(yīng)用技術(shù)。數(shù)字圖像修復(fù)技術(shù)是

2、數(shù)字圖像處理的一個(gè)新興領(lǐng)域，也是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域研究的一個(gè)熱點(diǎn)問題。隨著數(shù)字圖像處理技術(shù)的不斷進(jìn)步，圖像修復(fù)技術(shù)已經(jīng)成為了文物保護(hù)、照片修復(fù)、特效制作、視頻固化信息去除等應(yīng)用領(lǐng)域中不可缺少的技術(shù)。由于圖像的種類繁多，缺損區(qū)域的千差萬別，所以修復(fù)的方法側(cè)重點(diǎn)各有不同。相對(duì)于國外研究的蓬勃發(fā)展，國內(nèi)在數(shù)字圖像修復(fù)和數(shù)字視頻修復(fù)領(lǐng)域中研究起步較晚，其理論及技術(shù)水平亟待提高。
　　 本文在介紹數(shù)字圖像修復(fù)技術(shù)研究背景，深入分析現(xiàn)有圖像

3、修復(fù)方法的基礎(chǔ)上，結(jié)合目前圖像處理發(fā)展的最新理論，針對(duì)圖像中的固化字幕信息的檢測、小面積缺損圖像修復(fù)、大面積缺損圖像修復(fù)和視頻修復(fù)等問題提出了一系列的新方法。本文的主要研究成果如下：
　　 1.字幕修復(fù)區(qū)域自動(dòng)檢測方法研究目前的圖像以及視頻修復(fù)方法都需要人工指定修復(fù)區(qū)域，而在各種圖像和視頻修復(fù)任務(wù)中，圖像和視頻中的文字去除一直是備受關(guān)注的應(yīng)用，而手工標(biāo)定所有的圖像文字區(qū)域不但費(fèi)時(shí)費(fèi)力而且容易出錯(cuò)。為了自動(dòng)定位圖像和視頻上的文字區(qū)

4、域作為圖像修復(fù)和視頻修復(fù)的目標(biāo)區(qū)域。本文提出了一種基于稀疏表示分類字典和多尺度幾何分析的圖像文字檢測方法。這種方法首先通過多尺度幾何分析得到圖像文字的候選邊緣，然后借助基于分類字典的稀疏表示完成文字的檢測。一系列的實(shí)驗(yàn)驗(yàn)證了這種文字檢測方法不僅能夠準(zhǔn)確的提取照片和視頻中的人工字幕，為圖像和視頻修復(fù)提供高質(zhì)量的修復(fù)目標(biāo)區(qū)域；而且還能在各種復(fù)雜環(huán)境中提取嵌入場景之中的文字，不受文字顏色、大小、紋理、語言和光照強(qiáng)度的限制，具有較好的魯棒性和較

5、高地準(zhǔn)確性。
　　 2.小面積缺損圖像修復(fù)方法研究稀疏表示是圖像處理和信號(hào)處理中的重要理論和重點(diǎn)研究方向，受到了國內(nèi)外圖像處理界的廣泛關(guān)注。我們在現(xiàn)有稀疏表示圖像修復(fù)框架的基礎(chǔ)上提出了一種基于圖像源區(qū)域字典的稀疏表示圖像修復(fù)方法。利用圖像源區(qū)域字典生成方便，并且能夠攜帶目標(biāo)圖像信息的特點(diǎn)有效地克服了以往固定字典修復(fù)方法和機(jī)器學(xué)習(xí)字典修復(fù)方法的不足，使得稀疏表示圖像修復(fù)方法的效果有了顯著增強(qiáng)。而后針對(duì)現(xiàn)有圖像修復(fù)方法無法高效地修復(fù)

6、包含紋理的小面積缺損圖像的問題，本文提出了結(jié)合各向同性擴(kuò)散修復(fù)和稀疏表示修復(fù)的混合圖像修復(fù)方法，首先充分考慮到擴(kuò)散修復(fù)和基于圖像源區(qū)域稀疏表示修復(fù)的互補(bǔ)性，通過簡單而有效地紋理分析算法將待修復(fù)區(qū)域劃分為光滑部分和復(fù)雜部分。然后使用各向同性擴(kuò)散的修復(fù)方法修復(fù)光滑部分，用基于稀疏表示的修復(fù)方法修復(fù)復(fù)雜部分。最后將兩種修復(fù)方法的修復(fù)結(jié)果結(jié)合起來得到最終的修復(fù)結(jié)果。理論分析和實(shí)驗(yàn)結(jié)果表明，混合修復(fù)方法無論在修復(fù)結(jié)果的觀賞性或修復(fù)方法的處理速度上

7、都要優(yōu)于現(xiàn)有的擴(kuò)散類圖像修復(fù)算法。在這一章的最后我們分析了稀疏表示圖像修復(fù)的局限性，即稀疏表示圖像修復(fù)方法因?yàn)槠淝蠼庹`差的關(guān)系不適合大面積缺損圖像的修復(fù)。
　　 3.大面積缺損圖像修復(fù)方法研究在補(bǔ)全大面積缺損圖像的問題中，保證缺損結(jié)構(gòu)的完整性和一致性是得到良好修復(fù)結(jié)果的關(guān)鍵。在分析了現(xiàn)有基于紋理合成的圖像修復(fù)方法容易產(chǎn)生結(jié)構(gòu)誤差的原因以及敘述了人類視覺在感知圖像缺損和自動(dòng)填充的機(jī)制之后，針對(duì)大面積缺損圖像的修復(fù)問題，本文提出了一

8、種基于圖像缺損結(jié)構(gòu)線補(bǔ)全的圖像修復(fù)方法。不同于現(xiàn)有修復(fù)算法通過修復(fù)順序來補(bǔ)全圖像缺損結(jié)構(gòu)的做法，該方法考慮了圖像結(jié)構(gòu)完整的重要性，充分利用缺損結(jié)構(gòu)的信息來保證修復(fù)結(jié)果結(jié)構(gòu)的完整性。首先通過多尺度幾何分析找出缺損的結(jié)構(gòu)線，然后根據(jù)缺損結(jié)構(gòu)線的顏色、紋理和曲率信息將它們配對(duì)并通過曲線擬合加以補(bǔ)全。這樣不僅保證了圖像結(jié)構(gòu)的完整性而且使得修復(fù)的結(jié)構(gòu)有較好的視覺效果。此外考慮到修復(fù)的結(jié)構(gòu)線將缺損區(qū)域分割成了幾個(gè)子區(qū)域，在進(jìn)行紋理修復(fù)時(shí)可以逐個(gè)地對(duì)

9、每個(gè)子區(qū)域進(jìn)行紋理填充，這樣不但加快了處理速度，而且提高了紋理填充的質(zhì)量。大量的修復(fù)結(jié)果和對(duì)比實(shí)驗(yàn)證明本文提出基于圖像缺損結(jié)構(gòu)線補(bǔ)全的圖像修復(fù)方法比現(xiàn)有方法更好地保證了修復(fù)結(jié)果圖像的完整性，并且修復(fù)結(jié)果有很高的視覺質(zhì)量。
　　 4.視頻修復(fù)方法研究視頻修復(fù)是圖像修復(fù)的延續(xù)，也是圖像修復(fù)技術(shù)重要的研究和應(yīng)用領(lǐng)域。針對(duì)視頻修復(fù)中的不同應(yīng)用本文提出了兩種視頻修復(fù)算法。一個(gè)是針對(duì)視頻中的臺(tái)標(biāo)字幕等固化修復(fù)區(qū)域的基于三維泊松方程的視頻修復(fù)

10、方法；另一個(gè)是針對(duì)視頻中的物體缺損的基于前景運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)周期的視頻修復(fù)方法。在三維泊松方程圖像修復(fù)方法中，本文首先計(jì)算所有視頻幀的梯度場，然后填補(bǔ)梯度場中的缺失信息，最后通過求解三維泊松方程完成視頻修復(fù)，這樣充分保證了修復(fù)視頻在時(shí)間域上的連續(xù)性。在基于前景運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)周期的視頻修復(fù)方法中，本文對(duì)視頻修復(fù)問題提出了一個(gè)觀點(diǎn)，即視頻修復(fù)技術(shù)應(yīng)該是一種遮掩視頻待修復(fù)區(qū)域的技術(shù)，因此視頻修復(fù)技術(shù)可以根據(jù)實(shí)際需要在滿足觀察者視覺感官的同時(shí)對(duì)視頻的