多源圖像超分辨率重建研究.pdf

1、受成像設(shè)備等因素的影響，用戶實(shí)際獲取的圖像的分辨率往往是受限的，從而導(dǎo)致圖像的細(xì)節(jié)不夠清晰。這不僅會(huì)影響用戶的視覺體驗(yàn)，而且也會(huì)對(duì)相關(guān)的計(jì)算機(jī)視覺應(yīng)用構(gòu)成障礙。因此，如何提升圖像的分辨率（也即所謂的圖像超分辨率重建）一直以來都是圖像處理領(lǐng)域的基礎(chǔ)性研究課題，得到眾多學(xué)者的廣泛關(guān)注和深入研究。圖像超分辨率重建是指一種從一幅或多幅低分辨率圖像重建出一幅高分辨率圖像的數(shù)字圖像處理技術(shù)。按照?qǐng)D像種類的不同，圖像超分辨率重建主要有彩色圖像超分辨率

2、重建和深度圖像超分辨率重建之分。隨著研究和應(yīng)用的深入進(jìn)行，彩色和深度圖像混在的超分辨率重建研究也陸續(xù)出現(xiàn)，并逐漸成為一個(gè)研究熱點(diǎn)。本研究主要內(nèi)容包括
　　⑴針對(duì)彩色和深度圖像同時(shí)存在的多源輸入情形，研究相關(guān)的圖像超分辨率重建問題，提出了多種超分辨率重建算法，希望能為圖像超分辨率重建問題的解決提供支持。鑒于實(shí)際中獲取深度信息手段的多樣化，研究彩色和深度圖像混在的超分辨率重建問題時(shí)必須考慮深度信息獲取的途徑。本文主要以多視角立體視覺系

3、統(tǒng)和RGBD視覺系統(tǒng)提供的深度信息為基礎(chǔ)展開研究。重點(diǎn)關(guān)注相關(guān)的多源圖像超分辨率重建算法，提供有針對(duì)性的解決方案。
　?、漆槍?duì)多視角立體視覺系統(tǒng)中的彩色圖像超分辨率重建問題進(jìn)行了研究。對(duì)于多視角圖像（視頻）數(shù)據(jù)，近年來提出和發(fā)展了一種混合分辨率的編解碼方案，能夠有效地降低所要傳輸?shù)臄?shù)據(jù)量。但是這種非對(duì)稱的傳輸方案對(duì)于后端應(yīng)用造成了限制，所以針對(duì)該方案中的低分辨率視角圖像的超分辨率重建研究是近年來的一個(gè)重要研究方向。首先，我們針對(duì)混

4、合分辨率的多視角圖像中的超分辨率重建問題進(jìn)行了研究，提出了一種基于多視角立體深度信息融合的超分辨率重建算法。我們使用立體匹配算法在參考圖像和相關(guān)低分辨率圖像之間進(jìn)行立體匹配以得到視差圖像，然后以參考圖像的視角為基準(zhǔn)，從多組視差圖像出發(fā)通過一種中值濾波融合處理得到所需深度圖像的估計(jì)?；谏鲜錾疃刃畔?，我們進(jìn)一步提出了一種基于視差映射和非局部重建的融合算法以實(shí)現(xiàn)對(duì)低分辨率圖像的超分辨率重建。據(jù)此使用上述超分辨率重建結(jié)果可以重新進(jìn)行深度估計(jì)。

5、反復(fù)迭代上述兩個(gè)過程直到得到穩(wěn)定的深度圖像和超分辨率重建結(jié)果。為了驗(yàn)證方法的有效性，在Middlebury數(shù)據(jù)集上進(jìn)行多組實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該算法具有較大的優(yōu)勢(shì)，能夠同時(shí)得到高質(zhì)量的深度估計(jì)和超分辨率重建結(jié)果。
　?、轻槍?duì)非對(duì)稱立體視頻中的彩色圖像超分辨率重建問題進(jìn)行了研究。經(jīng)過分析我們發(fā)現(xiàn)，該問題中的深度估計(jì)和超分辨率重建是存在較強(qiáng)耦合關(guān)系的兩個(gè)過程?；诖?，我們提出了一種采用統(tǒng)一的能量函數(shù)對(duì)這兩個(gè)過程同時(shí)進(jìn)行建模的超分辨率重

6、建算法。首先，我們使用顏色一致性、平滑性、遮擋懲罰和時(shí)域一致性等約束構(gòu)建能量函數(shù)，對(duì)深度估計(jì)問題進(jìn)行建模;然后，在深度信息的指導(dǎo)下，我們使用數(shù)據(jù)一致性、視角一致性和非局部圖像自相似性的約束構(gòu)建能量函數(shù)，對(duì)超分辨率重建問題進(jìn)行建模;最后，統(tǒng)一表示上述能量函數(shù)，并采用輪換迭代的優(yōu)化技術(shù)求其最優(yōu)解。我們?cè)趦蓚€(gè)立體視頻公開數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，并對(duì)得到的深度圖像和超分辨率重建結(jié)果進(jìn)行了主、客觀評(píng)估。實(shí)驗(yàn)結(jié)果表明，本文算法具有可以同時(shí)獲得高質(zhì)量

7、的深度估計(jì)和超分辨率重建結(jié)果的優(yōu)勢(shì)。
　?、柔槍?duì)RGBD視覺系統(tǒng)中的深度圖像超分辨率重建問題進(jìn)行了研究，提出了兩種基于彩色圖像信息指導(dǎo)的深度圖像超分辨率重建算法。首先，我們提出了兩種基于非局部線性模型的圖像引導(dǎo)濾波算法，并從濾波器核函數(shù)的形式上分析了它們與圖像引導(dǎo)濾波器以及非局部均值等濾波方法的聯(lián)系和區(qū)別。在公開數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的濾波方法在深度圖像超分辨重建和增強(qiáng)、圖像去噪和圖像去霧等多個(gè)應(yīng)用中，具有較大的優(yōu)勢(shì)。其次，

8、針對(duì)之前深度圖像超分辨率重建方法受初始深度圖像質(zhì)量影響較大的問題，提出了一種結(jié)合圖像局部先驗(yàn)和非局部先驗(yàn)的深度圖像超分辨率重建算法。首先，基于彩色圖像和深度圖像的共生不連續(xù)性假設(shè)，利用圖像的局部漸變特性和非局部自相似性，通過度量鄰域像素在顏色和深度上的相似性來構(gòu)建能量函數(shù)，完成對(duì)深度圖像超分辨率重建過程的建模。然后，通過對(duì)該能量函數(shù)優(yōu)化求解過程的分析，提出了一種快速近似算法。在Middlebury測(cè)試集上的實(shí)驗(yàn)結(jié)果表明，相比其他超分辨率

9、重建方法，本文提出的算法具有較好的魯棒性，并可取得更好的超分辨率重建結(jié)果。
　　⑸結(jié)合立體視覺系統(tǒng)和RGBD視覺系統(tǒng)的特點(diǎn)，提出了一種基于立體視覺輔助的3D視覺系統(tǒng)，并據(jù)此提出了一種融合不同來源深度信息的深度圖像超分辨率重建算法。該系統(tǒng)以同一場(chǎng)景的兩個(gè)不同視角的高分辨率彩色圖像和一幅低分辨率深度圖像為輸入。首先，對(duì)深度相機(jī)采集到的低分辨率深度圖像進(jìn)行超分辨率重建。然后，度量像素在顏色域和深度域的相似性，進(jìn)而采用基于局部自適應(yīng)權(quán)值的