ie1-ip-08

1、章毓晉 (TH-EE-IE),第8章 圖象恢復(fù),8.1退化及噪聲 8.2退化模型和對角化 8.3關(guān)于恢復(fù)的討論8.4無約束恢復(fù)8.5有約束恢復(fù)8.6交互式恢復(fù),章毓晉 (TH-EE-IE),圖象恢復(fù)也稱圖象復(fù)原，圖象處理中的一大類技術(shù) 目的：針對質(zhì)量降低或失真 的圖像，試圖恢復(fù)其原始的內(nèi)容 或質(zhì)量。圖象恢復(fù)vs.圖象增強(qiáng)：相同之處：改進(jìn)輸入圖象的視覺質(zhì)量 不同之處：圖象增強(qiáng)借助人的視

2、覺系統(tǒng)特性，以取得較好的視覺結(jié)果（不考慮退化原因） 圖象恢復(fù)根據(jù)相應(yīng)的退化模型和知識重建或恢復(fù)原始的圖象（考慮退化原因）,第8章 圖象恢復(fù),章毓晉 (TH-EE-IE),章毓晉 (TH-EE-IE),圖象恢復(fù)方法分類技術(shù)：無約束和有約束 策略：自動和交互處理所在域：頻域和空域 從廣義的角度上來看：幾何失真（退化 ）校正（恢復(fù) ） 投影（退化 ）重建（恢復(fù) ）,第8章 圖象

3、恢復(fù),章毓晉 (TH-EE-IE),8.1退化及噪聲,8.1.1圖象退化示例8.1.2噪聲及來源8.1.3噪聲概率密度函數(shù),章毓晉 (TH-EE-IE),8.1.1 圖象退化示例,圖象退化圖象退化指由場景得到的圖象沒能完全地反映場景的真實(shí)內(nèi)容，產(chǎn)生了失真等問題透鏡象差/色差聚焦不準(zhǔn)（失焦，限制了圖象銳度） 模糊（限制頻譜寬度）噪聲（是一個統(tǒng)計(jì)過程）抖動（機(jī)械、電子）,章毓晉 (TH-EE-IE),章毓晉

4、 (TH-EE-IE),8.1.2 噪聲及來源,噪聲最常見的退化因素之一煩人的東西圖象中不希望有的部分圖象中不需要的部分 對信號來說，噪聲是一種外部干擾。但噪聲本身也是一種信號（攜帶了噪聲源的信息）,章毓晉 (TH-EE-IE),8.1.2 噪聲及來源,噪聲研究人們常只關(guān)心噪聲的強(qiáng)度 信噪比（signal-to-noise ratio，SNR）能量比（電壓平方比） 合成圖象時,章毓晉 (TH-EE-IE)

5、,8.1.2 噪聲及來源,常見噪聲熱噪聲：白噪聲（頻率覆蓋整個頻譜） 高斯噪聲（幅度符合高斯分布） 閃爍噪聲：具有反比于頻率（1/f）的頻譜粉色噪聲（在對數(shù)頻率間隔內(nèi)有相同的能量）發(fā)射噪聲：高斯分布（電子運(yùn)動的隨機(jī)性）,章毓晉 (TH-EE-IE),8.1.3 噪聲概率密度函數(shù),1、高斯噪聲噪聲灰度隨機(jī)變量用概率密度來刻畫,章毓晉 (TH-EE-IE),8.1.3 噪聲概率密度函數(shù),2、均

6、勻噪聲,章毓晉 (TH-EE-IE),8.1.3 噪聲概率密度函數(shù),3、脈沖噪聲噪聲脈沖可以 是正的或負(fù)的一般假設(shè)a和b 都是“飽和”值雙極性脈沖噪聲 也稱椒鹽噪聲,章毓晉 (TH-EE-IE),8.2退化模型和對角化,8.2.1退化模型8.2.2退化模型的計(jì)算8.2.3輪換矩陣對角化,章毓晉 (TH-EE-IE),8.2.1 退化模型,退化模型H：退化過程n(x,

7、y)：加性噪聲（統(tǒng)計(jì)特性已知）恢復(fù)圖象：在給定g (x, y)和代表退化的H的基礎(chǔ)上得到對f (x, y)的某個近似,章毓晉 (TH-EE-IE),8.2.1 退化模型,退化H的性質(zhì)(1) 線性： (2) 相加性（k1 = k2 = 1 ）： (3) 一致性（f2(x, y) = 0 ）： (4) 位置（空間）不變性：,章毓晉 (TH-EE-IE),8.2.2 退化模型的計(jì)算,1-D退

8、化過程卷積 f (x)和h(x)：采樣 ? 2個數(shù)組 A和B為避免卷積周期重疊： M ≥ A + B – 1,章毓晉 (TH-EE-IE),用矩陣形式表示根據(jù)周期性he(x) = he(x+M),,,,,8.2.2 退化模型的計(jì)算,輪換矩陣,章毓晉 (TH-EE-IE),推廣到2-D 擴(kuò) 展不考慮噪聲,8.2.2 退化模型的計(jì)算,章毓晉 (TH-EE-IE),塊輪換矩陣（每塊都輪換標(biāo)注）

9、 輪換矩陣,,,,,,,,,8.2.2 退化模型的計(jì)算,章毓晉 (TH-EE-IE),8.2.3 輪換矩陣對角化,對角化H來簡化運(yùn)算（M = N = 512，H尺寸為262 144 ? 262 144 ）1、輪換矩陣的對角化 考慮M ? M的輪換矩陣 本征矢量 本征值,章毓晉 (TH-EE-IE),8.2.3 輪換矩陣對角化,1、輪換矩陣的對角化H的M個本征矢量組成1個M

10、 ? M的矩陣W： 各w的正交性保證了W的逆矩陣存在W–1的存在保證了W的列（即H的本征矢量）是線性獨(dú)立的D是1個對角矩陣，D(k, k) = ?(k),章毓晉 (TH-EE-IE),8.2.3 輪換矩陣對角化,2、塊輪換矩陣的對角化定義尺寸為MN ? MN的矩陣W，每個元素為： WN為1個N ? N的矩陣，其每個元素為： 類似于對輪換 矩陣的討論：,章毓晉 (TH-EE-I

11、E),3、退化模型對角化的效果（1-D無噪聲） + ?,8.2.3 輪換矩陣對角化,,,本征值,章毓晉 (TH-EE-IE),3、退化模型對角化的效果（2-D有噪聲） + ? F(u, v) N(u, v) H(u, v)對角元素,8.2.3 輪換矩陣對角化,,,章毓晉 (TH-EE-IE),8.3關(guān)于恢復(fù)的討論,8.3.1有誤差時的恢復(fù)

12、8.3.2加性噪聲信號8.3.3實(shí)恢復(fù)函數(shù)的確定8.3.4無約束和有約束恢復(fù),章毓晉 (TH-EE-IE),先卷積后加噪聲設(shè)計(jì)恢復(fù)濾波器h(x)，最優(yōu)地從測量中估計(jì)f (x)，fest (x)：最優(yōu)的恢復(fù)濾波器應(yīng)能最小化,8.3.1 有誤差時的恢復(fù),章毓晉 (TH-EE-IE),已知g(x)，通過減法n(x) = m(x) – g(x)來得到噪聲g(x)：規(guī)則n(x)：隨機(jī)m(x)：隨機(jī),8.3.2

13、加性噪聲信號,章毓晉 (TH-EE-IE),設(shè)d(x)是偶的實(shí)函數(shù)，這樣設(shè)備的轉(zhuǎn)移函數(shù)D(s)是實(shí)的，最優(yōu)恢復(fù)函數(shù)H(s)也是實(shí)的 ?NN*?看作噪聲功率譜，?GG*?看作信號功率譜。?G*N?/2和 ?GN*?/2可看作交叉（cross）功率譜，它們在零均值噪聲的情況下消失,8.3.3 實(shí)恢復(fù)函數(shù)的確定,,,章毓晉 (TH-EE-IE),由退化模型最小均方誤差準(zhǔn)則無約束有約束（Q為線性操作符，s =

14、1/l）,8.3.4 無約束和有約束恢復(fù),章毓晉 (TH-EE-IE),8.4無約束恢復(fù),8.4.1逆濾波 8.4.2消除勻速直線運(yùn)動模糊,章毓晉 (TH-EE-IE),8.4.1 逆濾波,設(shè)M = N 逆濾波：用H (u, v)去除G (u, v) （ 濾波函數(shù)H (u, v)與F (u, v)相乘：退化）,,,章毓晉 (TH-EE-IE),8.4.1 逆濾波,分析/討論H (u, v)在UV 平面

15、上取零或很小，N (u, v) / H (u, v)就會使恢復(fù)結(jié)果與預(yù)期的結(jié)果有很大差距噪聲帶來更嚴(yán)重的問題（知道H也估計(jì)不準(zhǔn) f ）H (u, v)常隨u，v與原點(diǎn)距離的增加而迅速減小，而噪聲N (u, v)卻一般變化緩慢。在這種情況下，恢復(fù)只能在與原點(diǎn)較近（接近頻域中心）的范圍內(nèi)進(jìn)行,章毓晉 (TH-EE-IE),8.4.1 逆濾波,記M (u, v)為恢復(fù)轉(zhuǎn)移函數(shù)，并不正好是1 / H (u, v)圖象退化和恢復(fù)模

16、型除去H(u, v)為零的點(diǎn) 減少振鈴效應(yīng)k和d均為小于1的常數(shù),章毓晉 (TH-EE-IE),模糊點(diǎn)源以獲得轉(zhuǎn)移函數(shù)將點(diǎn)源圖象看做單位脈沖函數(shù)（F [? (x, y)] = 1）的近似則有G(u, v) = H(u, v) F(u, v) ? H(u, v) 圖象退化和恢復(fù)示例 退化圖 濾波器 除去零點(diǎn) 減少振鈴,8.4.1 逆濾波,章毓晉 (T

17、H-EE-IE),章毓晉 (TH-EE-IE),勻速直線運(yùn)動,8.4.2 消除勻速直線運(yùn)動模糊,T: 采集時間長度,x方向運(yùn)動分量,y方向運(yùn)動分量,,,,章毓晉 (TH-EE-IE),水平方向勻速直線運(yùn)動x0(t) = ct / T ，y0(t) = 0 當(dāng)n為整數(shù)時，H在u = n/c處為零當(dāng) f (x, y)在區(qū)間0 ≤ x ≤ L之外為零或已知時,8.4.2 消除勻速直線運(yùn)動模糊,章毓晉 (TH-EE-IE)

18、,8.5有約束恢復(fù),8.5.1維納濾波8.5.2有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),維納（Wiener）濾波器一種最小均方誤差濾波器設(shè) Rf 是 f 的相關(guān)矩陣 Rf 的第 ij 個元素是E{fi fj}，代表 f 的第 i 和第 j 元素的相關(guān)設(shè) Rn是n 的相關(guān)矩陣,8.5.1 維納濾波,章毓晉 (TH-EE-IE),根據(jù)兩個象素間的相關(guān)只是它們相互距離而不是位置的函數(shù)的假設(shè)，可將 Rf

19、 和 Rn 都用塊輪換矩陣表達(dá)，并借助矩陣W來對角化：A中的元素：fe(x, y)的功率譜，記為Sf (u, v) B中的元素：ne(x, y)的功率譜，記為Sn(u, v) 對比（輪換矩陣對角化）D是1個對角矩陣，D(k, k) = ?(k),8.5.1 維納濾波,章毓晉 (TH-EE-IE),濾波器推導(dǎo)定義代入得兩邊同乘以W –1,8.5.1 維納濾波,,,,,章毓晉 (TH-EE-IE

20、),8.5.1 維納濾波,討論：⑴ 如果s=1，方括號中的項(xiàng)就是維納濾波器⑵如果s是常量，就稱為參數(shù)維納濾波器⑶當(dāng)沒有噪聲時， ，維納濾波器退化成理想的逆濾波器,,章毓晉 (TH-EE-IE),章毓晉 (TH-EE-IE),只需有關(guān)噪聲均值和方差的知識就可對每個給定圖象得到最優(yōu)結(jié)果（仍需確定變換矩陣Q）建立基于平滑測度的最優(yōu)準(zhǔn)則 f (x, y)在(x, y)處的二階微分 {圖6.6.2},8.5.2

21、有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),卷積模板 擴(kuò)展f (x, y)的尺寸是A ? B，取M ≥ A + 3 – 1和N ≥ B + 3 – 1最優(yōu)準(zhǔn)則,8.5.2 有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),矩陣表達(dá)分塊輪換矩陣子矩陣：輪換矩陣,8.5.2 有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),矩陣表達(dá)對角化 E是1個對角矩陣，它的元素為 P(u,

22、 v)是pe(x, y)的2-D傅里葉變換?k / N?代表不超過k/N的最大的整數(shù)k mod N代表用N除k得到的余數(shù),8.5.2 有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),約束最優(yōu)解,8.5.2 有約束最小平方恢復(fù),章毓晉 (TH-EE-IE),章毓晉 (TH-EE-IE),人機(jī)結(jié)合控制恢復(fù)過程以達(dá)到一些特殊的效果正弦干擾模式（相關(guān)噪聲）只有虛分量，代表一對位于頻率平面上坐標(biāo)分別為(u0 /

23、2?, v0 / 2?)和(– u0 / 2?, – v0 / 2?)，強(qiáng)度分別為 –A/2和A/2的脈沖,8.6交互式恢復(fù),,,,,章毓晉 (TH-EE-IE),正弦干擾模式（相關(guān)噪聲）退化僅由噪聲造成 依靠視覺觀察在頻率域確定出脈沖分量的位置并在該位置利用帶阻濾波器消除 存在多個正弦分量：在頻率域里對應(yīng)每個亮點(diǎn)的位置放1個帶通濾波器H(u, v) 干擾模式的傅里葉變換（H(u, v)僅允

24、許通過與干擾模式相關(guān)的分量 ）,8.6交互式恢復(fù),章毓晉 (TH-EE-IE),空域相對應(yīng)的結(jié)構(gòu)模式從g(x, y)中減去加權(quán)的p(x, y) （其中w(x, y)稱為權(quán)函數(shù) ）點(diǎn)(x, y)鄰域的均值和方差（最小化）,8.6交互式恢復(fù),章毓晉 (TH-EE-IE),設(shè)w(x, y)在鄰域中基本是常數(shù)能最小化? 2(x, y)的w(x, y),8.6交互式恢復(fù),章毓晉 (TH-EE-IE),通信地址：北京清華