多源圖像超分辨率重建研究.pdf

1、受成像設備等因素的影響，用戶實際獲取的圖像的分辨率往往是受限的，從而導致圖像的細節(jié)不夠清晰。這不僅會影響用戶的視覺體驗，而且也會對相關的計算機視覺應用構成障礙。因此，如何提升圖像的分辨率（也即所謂的圖像超分辨率重建）一直以來都是圖像處理領域的基礎性研究課題，得到眾多學者的廣泛關注和深入研究。圖像超分辨率重建是指一種從一幅或多幅低分辨率圖像重建出一幅高分辨率圖像的數(shù)字圖像處理技術。按照圖像種類的不同，圖像超分辨率重建主要有彩色圖像超分辨率

2、重建和深度圖像超分辨率重建之分。隨著研究和應用的深入進行，彩色和深度圖像混在的超分辨率重建研究也陸續(xù)出現(xiàn)，并逐漸成為一個研究熱點。本研究主要內(nèi)容包括
　　⑴針對彩色和深度圖像同時存在的多源輸入情形，研究相關的圖像超分辨率重建問題，提出了多種超分辨率重建算法，希望能為圖像超分辨率重建問題的解決提供支持。鑒于實際中獲取深度信息手段的多樣化，研究彩色和深度圖像混在的超分辨率重建問題時必須考慮深度信息獲取的途徑。本文主要以多視角立體視覺系

3、統(tǒng)和RGBD視覺系統(tǒng)提供的深度信息為基礎展開研究。重點關注相關的多源圖像超分辨率重建算法，提供有針對性的解決方案。
　　⑵針對多視角立體視覺系統(tǒng)中的彩色圖像超分辨率重建問題進行了研究。對于多視角圖像（視頻）數(shù)據(jù)，近年來提出和發(fā)展了一種混合分辨率的編解碼方案，能夠有效地降低所要傳輸?shù)臄?shù)據(jù)量。但是這種非對稱的傳輸方案對于后端應用造成了限制，所以針對該方案中的低分辨率視角圖像的超分辨率重建研究是近年來的一個重要研究方向。首先，我們針對混

4、合分辨率的多視角圖像中的超分辨率重建問題進行了研究，提出了一種基于多視角立體深度信息融合的超分辨率重建算法。我們使用立體匹配算法在參考圖像和相關低分辨率圖像之間進行立體匹配以得到視差圖像，然后以參考圖像的視角為基準，從多組視差圖像出發(fā)通過一種中值濾波融合處理得到所需深度圖像的估計?；谏鲜錾疃刃畔ⅲ覀冞M一步提出了一種基于視差映射和非局部重建的融合算法以實現(xiàn)對低分辨率圖像的超分辨率重建。據(jù)此使用上述超分辨率重建結果可以重新進行深度估計。

5、反復迭代上述兩個過程直到得到穩(wěn)定的深度圖像和超分辨率重建結果。為了驗證方法的有效性，在Middlebury數(shù)據(jù)集上進行多組實驗。實驗結果表明，該算法具有較大的優(yōu)勢，能夠同時得到高質(zhì)量的深度估計和超分辨率重建結果。
　　⑶針對非對稱立體視頻中的彩色圖像超分辨率重建問題進行了研究。經(jīng)過分析我們發(fā)現(xiàn)，該問題中的深度估計和超分辨率重建是存在較強耦合關系的兩個過程。基于此，我們提出了一種采用統(tǒng)一的能量函數(shù)對這兩個過程同時進行建模的超分辨率重

6、建算法。首先，我們使用顏色一致性、平滑性、遮擋懲罰和時域一致性等約束構建能量函數(shù)，對深度估計問題進行建模;然后，在深度信息的指導下，我們使用數(shù)據(jù)一致性、視角一致性和非局部圖像自相似性的約束構建能量函數(shù)，對超分辨率重建問題進行建模;最后，統(tǒng)一表示上述能量函數(shù)，并采用輪換迭代的優(yōu)化技術求其最優(yōu)解。我們在兩個立體視頻公開數(shù)據(jù)集上進行了驗證實驗，并對得到的深度圖像和超分辨率重建結果進行了主、客觀評估。實驗結果表明，本文算法具有可以同時獲得高質(zhì)量

7、的深度估計和超分辨率重建結果的優(yōu)勢。
　　⑷針對RGBD視覺系統(tǒng)中的深度圖像超分辨率重建問題進行了研究，提出了兩種基于彩色圖像信息指導的深度圖像超分辨率重建算法。首先，我們提出了兩種基于非局部線性模型的圖像引導濾波算法，并從濾波器核函數(shù)的形式上分析了它們與圖像引導濾波器以及非局部均值等濾波方法的聯(lián)系和區(qū)別。在公開數(shù)據(jù)集上的實驗表明，本文提出的濾波方法在深度圖像超分辨重建和增強、圖像去噪和圖像去霧等多個應用中，具有較大的優(yōu)勢。其次，

8、針對之前深度圖像超分辨率重建方法受初始深度圖像質(zhì)量影響較大的問題，提出了一種結合圖像局部先驗和非局部先驗的深度圖像超分辨率重建算法。首先，基于彩色圖像和深度圖像的共生不連續(xù)性假設，利用圖像的局部漸變特性和非局部自相似性，通過度量鄰域像素在顏色和深度上的相似性來構建能量函數(shù)，完成對深度圖像超分辨率重建過程的建模。然后，通過對該能量函數(shù)優(yōu)化求解過程的分析，提出了一種快速近似算法。在Middlebury測試集上的實驗結果表明，相比其他超分辨率

9、重建方法，本文提出的算法具有較好的魯棒性，并可取得更好的超分辨率重建結果。
　?、山Y合立體視覺系統(tǒng)和RGBD視覺系統(tǒng)的特點，提出了一種基于立體視覺輔助的3D視覺系統(tǒng)，并據(jù)此提出了一種融合不同來源深度信息的深度圖像超分辨率重建算法。該系統(tǒng)以同一場景的兩個不同視角的高分辨率彩色圖像和一幅低分辨率深度圖像為輸入。首先，對深度相機采集到的低分辨率深度圖像進行超分辨率重建。然后，度量像素在顏色域和深度域的相似性，進而采用基于局部自適應權值的