基于特征點匹配的多視點圖像顏色校正方法研究【文獻綜述】

1、11畢業(yè)設(shè)計文獻綜述畢業(yè)設(shè)計文獻綜述電子信息科學(xué)與技術(shù)電子信息科學(xué)與技術(shù)基于特征點匹配的多視點圖像顏色校正方法研究基于特征點匹配的多視點圖像顏色校正方法研究摘要：自由視點視頻的出現(xiàn)滿足了人們?nèi)找嫣岣叩纳钏?，但是不免會出現(xiàn)一些問題，即圖像顏色在不同視點由于場景光照、相機校準、相機噪聲等的影響而產(chǎn)生不一致的現(xiàn)象，給后續(xù)的處理帶來很大的困難。本文基于上述的問題提出了一些顏色校正的方法：區(qū)域匹配或直方圖匹配顏色校正方法；面向編碼和繪制的多視

2、點圖像顏色校正方法；一種基于多模式融合的多視點圖像顏色校正方法；基于主顏色提取的的多視點圖像顏色校正方法；基于使用視點網(wǎng)絡(luò)能量最小化的多視點視頻顏色校正方法等等，而下面具體介紹的是基于特征對應(yīng)的多視點圖像顏色與幾何校正方法。關(guān)鍵詞：自由視點視頻；顏色校正；區(qū)域匹配或直方圖匹配；編碼和繪制；多模式融合；主顏色提??；視點網(wǎng)絡(luò)能量最小化；特征對應(yīng)一、前言隨著信息時代的日益拓新，現(xiàn)今存有的2D視頻系統(tǒng)越來越不能滿足人們的需求。在傳統(tǒng)的視頻系統(tǒng)中

3、，真實的場景相對于一個視點的畫面是由攝像師或?qū)а葸x擇決定的，用戶只能被動地觀看攝像機在單一視點上所攝制的視頻圖像序列，而不能自由選擇其它視點來觀察真實場景，這些單方向上的視頻序列只能反映真實世界場景的一個側(cè)面。而人們期望的是能夠自由地選擇各個不同的角度去觀察和分析事物，故應(yīng)時代要求而產(chǎn)生的自由視點視頻[1]就是一種先進的視覺媒體模式，它是通過多相機系統(tǒng)進行捕獲，各視點各自獨立地接受來自同一場景的特定攝像點的視頻，并通過視點繪制技術(shù)來生成

4、任意點的視頻，這樣就能允許人們從不同視點和方向享受更為真實的3D圖像。同時隨著3D顯示技術(shù)的進步，全景顯示、立體視頻技術(shù)得到了廣泛的關(guān)注，特別是裸眼可視立體顯示的出現(xiàn)，自由視點視頻的顯示已不是遙不可及的夢想。二、多視點圖像顏色校正研究基于3D的交互性與圖像的真實感，自由視點視頻在遠程教育、遠程監(jiān)視、虛擬現(xiàn)實系統(tǒng)等方面有著良好的應(yīng)用前景。但是正所謂沒有一樣現(xiàn)今世界上的事物是十全十美的，在顯示其優(yōu)越之處的同時不免暴露了不足，不管這不足影響是

5、大是小。自由視點視頻在實現(xiàn)過程中遇到的主要問題是視點間圖像顏色的不一致。任意視點位置在圖像采集過程中由于各相機的基線不在同一水平軸，場景光照、相機CCD噪聲、快門速度和曝光等要素不一致，會導(dǎo)致不同相機采集的圖像的顏色值差別很大，故必須對多視點圖像顏色進行校正，將同一對象的不同顏色外表校正到同一顏色，然后進行33效果。2.2.4基于主顏色提取的的多視點圖像顏色校正方法[5]在圖像類型設(shè)置上顏色信息是非常重要的。該方法是在主顏色提取的顏色校

6、正基礎(chǔ)上，提出消除多視點圖像之間顏色的不一致。根據(jù)基本顏色分類理論，在參考圖像和輸入圖像范疇中提取主顏色，那么相應(yīng)的顏色映射關(guān)系建立。該方法研究所得的結(jié)果表明顏色校正是非常有效的，但是它不提供圖像內(nèi)容強大的適應(yīng)性。2.2.5基于使用視點網(wǎng)絡(luò)能量最小化的多視點視頻顏色校正方法[610]當(dāng)視點轉(zhuǎn)換或當(dāng)自由視點視頻顯示時，視點之間的顏色校正采用IBR的多視點系統(tǒng)，它可以使得觀眾感到舒適。該顏色校正方法通常包括兩個步驟：首先是在拍攝前調(diào)整相機參

7、數(shù)，如增益，亮度，光圈，再是通過圖像處理修改拍攝到的視頻。它是利用尺度不變特征變換（SIFT）來檢測匹配，能夠獨立處理RGB通道，及計算查找能量最小化的方法表，并用這些表校正拍攝到的視頻。2.2.6基于特征對應(yīng)的多視點圖像顏色與幾何校正方法[1114]1、首先選擇同一時刻由多視點相機系統(tǒng)拍攝的多視點圖像中的一個視點圖像為參考圖像，而將其它視點圖像選為源圖像，通過SIFT在參考圖像和源圖像中進行極值檢測找到所有特征點。針對源圖像中的一個關(guān)

8、鍵點Pinp(xy)，參考圖像中最近的關(guān)鍵點Pref(x?y?)和次近的關(guān)鍵點Pref(x??y??)可以在NN的窗口中通過比較歐氏距離來確定。如果最小和次小歐氏距離滿足下列關(guān)系則兩個關(guān)鍵點Pinp(xy)和Pref(x?y?)被認為是匹配的（1）222))()(())()((????????????NrefrefinpinpNrefrefinpinpyxyxEyxyxELLLL其中，E（A，B）表示A和B之間的歐氏距離，Ν表示在關(guān)鍵點

9、周圍的窗口大小，Linp(xy)和Lref(x?y?)表示關(guān)鍵點Pinp(xy)和Pref(x?y?)的亮度值，并且μinp和μref分別表示在NN個窗口中對應(yīng)的亮度平均值。τ是一個可調(diào)參數(shù)，0≤τ1，它控制著匹配精度和匹配的關(guān)鍵點數(shù)量。在實驗中，我們根據(jù)經(jīng)驗選擇N=7和閾值τ=0.8。2、然后在關(guān)鍵點Pinp(xy)到關(guān)鍵點Pref(x?y?)間建立單向匹配，從源圖像到它參考圖像的像素（x，y）差距可以表示為dinp→ref=(x??

10、xy??y)。對于在參考圖像中的關(guān)鍵點Pref(x?y?)，一個反向匹配計劃就是在源圖像中找到一個匹配的關(guān)鍵點Pinp(x???y???)。因此，從參考圖像到源圖像的像素(x?y?)差距可以表示為dref→inp=(x????x?y????y?)。如果dinp→ref和dref→inp之間的像素絕對值少于2，也就是說如果滿足|dinp→refdref→inp|2，則Pinp(xy)和Pref(x?y?)被認為是匹配的關(guān)鍵點對。3、最后考