數(shù)字圖像處理與分析基礎

1、1,數(shù)字圖像處理與分析基礎,第三章 圖像處理基礎知識,黃愛民 安向京 駱力,中國水利水電出版社,新世紀電子信息與自動化系列課程改革教材,ISBN7-5084-2930-3,2,數(shù)字圖像處理與分析基礎,第三章 圖像處理基礎知識,1、圖像處理的視覺基礎2、圖像的數(shù)學模型3、圖像質量評價4、對設計圖像處理系統(tǒng)的影響,3,數(shù)字圖像處理與分析基礎,3.1圖像處理的視覺基礎,視覺生理/視覺特性/視覺模型視覺基礎/視覺應用它們與圖像研

2、究的關系見圖3-1。,,4,數(shù)字圖像處理與分析基礎,圖3-1 視覺研究與圖像的關系,,5,數(shù)字圖像處理與分析基礎,1、圖像質量評價與視覺心理,,對圖像質量的最終評價是由人的感覺器官和心理狀態(tài)來決定的。與圖像內容以及觀察者的心理因素有關。從圖像信息傳輸角度出發(fā)，圖像系統(tǒng)評價的真正尺度應該是發(fā)出信息者的意圖為接收信息者所理解的程度，而不是對發(fā)出信息者發(fā)出的圖像象素信息集合的簡單接收。,6,數(shù)字圖像處理與分析基礎,2、畫面組成和視覺心理,

3、“”視野——指眼球不動時所能見到的范圍如果把注視點作為中心，可見的范圍上方約65。，下方約75。，左右視角約為104。 (現(xiàn)在的電視畫面約占7。~8。)，但視力好的部位僅限于中央2。~3。左右。為了適應大的畫面和立體景象的機理，眼球必須轉動使視線移動。中心視力分辨率強，可以進行圖像細節(jié)的認識。周邊視力分辨率差，可以將視目標特征部分檢出，利用檢出的目標圖像特征去控制眼球運動。另外周邊視可以認識圖像的全貌，而中心視只能認識圖像的一

4、小部分。要產生充分的臨場感，畫面尺寸應該產生30。以上視野，如寬銀幕電影。,7,數(shù)字圖像處理與分析基礎,3、視覺的時空頻率分析,影響圖像銳度的主要因素。視覺神經具有的Mach效應和Roca—Sulzer微分效應，中樞神經的Craik-Obrien積分效應等是視覺信息處理的基礎，因此可以將視覺特性和圖像處理結合起來研究?？臻g分辨力人眼對空間景物細節(jié)的分辨能力有限，對黑白圖像約為一度。時間分辨力對亮度的響應有時延和殘留，因而對景物

5、亮度的變化也有分辨力，過快的變化無法分辨“視覺惰性”。當離散畫面的重復頻率不低于24Hz時，可形成連續(xù)畫面的感覺，即人眼不能分辨相鄰兩幅畫面間的差別，而低于24Hz時，有閃爍感。,8,數(shù)字圖像處理與分析基礎,3、視覺的時空頻率分析,人眼對畫面靜止部分的分辨率高于活動部分，對靜止部分減少時間分辨率，而對活動部分減少空間分辨率，可以達到數(shù)據(jù)壓縮的效果。幅度分辨力人眼對景物亮度層次的分辨力也有限，過小的亮度差別無法分辨。對彩色圖像的

6、色調和飽和度的分辨力人的視覺對彩色細節(jié)的分辨力要比亮度細節(jié)差，在國際無線電咨詢委員會（ITU-R，原CCIR）601標準中，就利用了這種特性，將色差信號的空間分辨率減半，仍可以得到非常好的圖像質量。對立體圖像的景深分辨力等,9,數(shù)字圖像處理與分析基礎,4、視覺生理和模型的研究,視覺生理指視覺信息的產生部分——視細胞(圖像信息感受器)和其它神經細胞以及大腦高級中樞的神經系統(tǒng)的信息產生、傳輸和處理的機理插入單個細胞的微小電極，側抑

7、制現(xiàn)象、馬赫效應等對大腦高級神經中樞的“思考過程” 才剛起步。,10,數(shù)字圖像處理與分析基礎,人類視覺機制今后的研究方向,從基礎研究逐步轉到和圖像相關的視覺綜合化、體系化的研究。搞清決定圖像質量的主觀因素，做出其總的結構模型；找出人腦真正接收信息的容量，大腦有效接收圖像的顯示方式；弄清圖像信源和信宿的結構，建立起包括人的因素在內的信息論；研究視覺和其它感覺的相乘作用，即視覺和其它感覺的互相影響；開發(fā)自組織作用的綜合研究，進一

8、步建立發(fā)展“思考過程”；研究視覺和行為的關系。,,11,數(shù)字圖像處理與分析基礎,視覺基礎講述內容,人類視覺感知過程視覺的簡單數(shù)學模型色度學知識,Philosophical Considerations,12,數(shù)字圖像處理與分析基礎,3.1.1人類視覺感知過程,人眼結構眼睛中圖像的形成視覺特性,13,數(shù)字圖像處理與分析基礎,視覺生理特點對圖像處理方法的影響很大,1、人眼的結構,14,數(shù)字圖像處理與分析基礎,圖3-3 視錐細胞

9、和視桿細胞在視網膜上的分布,錐狀（cone）視覺：白晝視覺，色彩；桿狀（rod）視覺：夜視覺，低照度敏感。,15,數(shù)字圖像處理與分析基礎,2、眼睛中圖像的形成,成像的幾何原理視覺信息的產生視覺信息的傳遞視覺信息的加工處理,16,數(shù)字圖像處理與分析基礎,（1）成像的幾何原理,圖3-4 用眼睛觀察樹的光學表示法，C點為晶狀體的光學中心,當晶狀體的折射能力由最小變到最大時，晶狀體的聚焦中心與視網膜之間的距離由17mm縮小到14mm。當

10、眼睛聚焦到遠于3m的物體時，晶狀體的折射能力最弱，當聚焦到非常近的物體時，其折射能力最強。,17,數(shù)字圖像處理與分析基礎,成像尺寸計算,觀測者看一個距離100m，高15m的樹。設x表示視網膜上形成的圖像的大小，單位mm，有:15/100=x/17, x=2.55mm,18,數(shù)字圖像處理與分析基礎,（2）視覺信息的產生,光—化—電過程色覺理論主要有兩種三色學三種視色素，對光的影響峰值分別在紅、綠、藍區(qū)，綜合后形成色覺信息。四

11、色學說三對視色素(白-黑，紅-綠，黃-藍)，它們的組合響應產生色覺信息,19,數(shù)字圖像處理與分析基礎,Fig3 人類感光細胞的敏感曲線,三種不同頻率響應的錐，各對紅、綠、藍具有最強的響應，彩色的識別功能,20,數(shù)字圖像處理與分析基礎,（3）視覺信息的傳遞,眼球內眼球外,,21,數(shù)字圖像處理與分析基礎,（4）視覺信息的加工處理,簡單型細胞檢測圖像的明暗邊界和線條的位置和方向，復雜型細胞對直線和邊界的運動方向敏感，低級超復雜型

12、細胞檢測直線和邊界的長度、寬度，而高級超復雜型細胞可以檢測曲線和邊緣曲度等,22,數(shù)字圖像處理與分析基礎,3、 視覺特性,亮度適應與鑒別分辨力對比靈敏度同時對比效應閾值效應和掩蓋效應視覺運動特性視覺空間頻率特性視覺時間頻率特性,23,數(shù)字圖像處理與分析基礎,圖3-5主觀亮度感受特性,,24,數(shù)字圖像處理與分析基礎,（2）分辨力,在不同的亮度適應級，人眼的分辨力不同，如圖3-6所示，I是背景光強，?I是光強的變化，,稱為韋

13、伯比，表示光強分辨力,圖3-6光強分辨力的典型韋伯比,25,數(shù)字圖像處理與分析基礎,（3）對比靈敏度,26,數(shù)字圖像處理與分析基礎,（4）同時對比效應,,,?I/I,強度I,具有可變背景的對比靈敏度,心理學實驗表明，人眼感受到的亮度不是光強的簡單函數(shù)，如馬赫帶效應和同時對比效應。,27,數(shù)字圖像處理與分析基礎,馬赫帶效應圖3-7,28,數(shù)字圖像處理與分析基礎,同時對比效應圖3-8,29,數(shù)字圖像處理與分析基礎,（5）視覺閾值效應和掩蓋效

14、應,視覺閾值正好可以被看到的刺激（干擾或失真）值，它是一個統(tǒng)計值，在圖像質量的主觀評價中有廣泛的應用?！把谏w效應視覺閾值隨圖像內容的變化而變化，在平坦區(qū)閾值低，對失真也敏感；在邊緣和紋理區(qū)，視覺存在掩蓋效應，對失真不敏感。,,30,數(shù)字圖像處理與分析基礎,（6）視覺運動特性,周邊視力對圖像中運動變化部分很靈敏，有特征抽取作用，從而控制眼肌轉動視軸，使視力集中對準這些部位，以便看清其細節(jié)。電視眼球標記攝像機(television

15、eye-marker camera)試驗,31,數(shù)字圖像處理與分析基礎,（7）視覺空間頻率特性,亮暗在空間上作正弦變化的條紋圖案，物理對比度和感覺對比度之比隨空間頻率變化而變化的曲線，稱為調制傳遞函數(shù)MTF( Modulation Transfer Function),32,數(shù)字圖像處理與分析基礎,圖3-10 閃爍對MTF的影響,33,數(shù)字圖像處理與分析基礎,（8）視覺時間頻率特性,34,數(shù)字圖像處理與分析基礎,3.1.2 視覺的

16、簡單數(shù)學模型,亮度視覺模型彩色視覺模型,35,數(shù)字圖像處理與分析基礎,1、亮度視覺模型,,圖3-13 線性光學系統(tǒng),,,光學系統(tǒng)的調制傳遞函數(shù)MTF,36,數(shù)字圖像處理與分析基礎,簡單的黑白視覺對數(shù)模型,圖3-143 黑白視覺對數(shù)模型,,37,數(shù)字圖像處理與分析基礎,視覺信息的融合,38,數(shù)字圖像處理與分析基礎,黑白視覺擴展模型,,|H3(Wx,Wy)|,39,數(shù)字圖像處理與分析基礎,2、彩色視覺模型,Thomas—Young三色

17、假說,40,數(shù)字圖像處理與分析基礎,彩色響應,在圖3-16模型中，e1、e2、e3代表視網膜三個具有S1(?)、S2(?)、S3(?)譜靈敏度的感受器，其輸出分別為,,C(?)為入射光譜的能量分布函數(shù),41,數(shù)字圖像處理與分析基礎,彩色信息融合,e1、e2、e3經對數(shù)傳傳遞后合并為d1、d2、d3輸出：,,42,數(shù)字圖像處理與分析基礎,色譜靈敏度曲線,43,數(shù)字圖像處理與分析基礎,圖3-19 彩色視覺擴展型模型,44,數(shù)字圖像處理與分

18、析基礎,3.1.3色度學,3個基本顏色——紅（R, red）、綠(G, green)和藍( B, blue)國際照明委員會（CIE），1931年規(guī)定3種基本色的波長為R:700nm, G:546.1nm, B:435.8nm。,45,數(shù)字圖像處理與分析基礎,三色系統(tǒng),利用3基色疊加可產生光的3補色：品紅（M, magenta，即紅加藍）、藍綠（C, cyan，即綠加藍）、黃（Y, yellow，即紅加綠）。按一定的比例混合3基色或將1

19、個補色與相對的基色混合就可以產生白色。光的混合滿足加色定理。,46,數(shù)字圖像處理與分析基礎,色度圖,47,數(shù)字圖像處理與分析基礎,顏色特征,區(qū)分顏色通常用3種基本特性：輝度（又常用亮度、明度）色調飽和度。色調和飽和度合起來稱為色度。顏色可以用輝度和色度共同表示,48,數(shù)字圖像處理與分析基礎,坐標系,為組成某種顏色所需的紅、綠、藍的量稱為3個刺激量，分別用R、G、B表示。,,顏色還可以用色品值r、g、b（相對色系數(shù)）表示，定義如下

20、,,49,數(shù)字圖像處理與分析基礎,彩色匹配規(guī)則：,任何彩色可以用不多于三個基色配成；混合色的光亮度等于各分量亮度之和；人眼不能分解混合彩色的各個分量；在某一亮度等級上的彩色匹配可適用于較寬的亮度范圍；彩色相加定律：若一彩色C1與彩色C2相匹配（同樣彩色感覺），而彩色C’1與彩色C’2相混合的彩色匹配，可以如下表示：[C1]=[ C2]，即C1彩色與C2彩色相匹配；?1[C1]+?2 [ C2]，即一混合色包含?1份的[C1]

21、和?2份的[C2]。彩色相加定律表示為：若 [C1]=[C2]， [C’1]=[C’2]則 ?1[C1]+?2 [C2]= ?1[C’1]+?2 [C’2],50,數(shù)字圖像處理與分析基礎,彩色匹配,彩色相減：當C1、C2混合色與C’1、C’2混合色相匹配時，若C2與C’2相匹配，則C1和C’1也匹配，即已知 [C1]+ [ C2]= [C’1]+ [ C’2]，若 [C’2]=[ C2]，則 [C’1]=

22、[ C1]轉移定律：若C1與C2匹配，C2又與C3匹配，則C1與C3匹配，即已知 [C2]=[ C1]，[C2]=[ C3]，則 [C1]=[ C3]匹配定律（Grassman定理）：在亮度既不太高，也不太低的條件下，有三種配色方案：? [C] = ?1[C1]+?2 [ C2] +?3 [ C3]? [C] +?1[C1]= ?2 [ C2] +?3 [ C3]? [C] +?1[C1] +?2 [ C2]= ?

23、3 [ C3],51,數(shù)字圖像處理與分析基礎,小 結,研究眼的生理特點非常重要，對顯示系統(tǒng)的設計具有決定性意義仿生的圖像處理系統(tǒng)是目前研究的熱點和難點,52,數(shù)字圖像處理與分析基礎,3.2圖像的數(shù)學模型 Image’s Mathematic Model,連續(xù)模型離散模型隨機場模型,53,數(shù)字圖像處理與分析基礎,3.2.1圖像的連續(xù)模型,基本的連續(xù)模型照明反射模型通用的彩色模型彩色電視色度坐標噪聲模型,54,數(shù)字圖

24、像處理與分析基礎,1、基本的連續(xù)模型,圖像可以用灰度級G在x，y二維空間的連續(xù)變換來描述，即：,,圖像=g(x,y)，,時間序列圖像的描述為： 圖像序列={g1(x,y),g2(x,y),…,gt(x,y)}或： 圖像序列=g(x,y,t)。,圖像處理 f(x,y)=S[g(x,y)](3-23)式（3-23）中S可以是有意施加的某種處理方法，也可以是圖像系統(tǒng)中導致圖像退化的原因。

25、 G(x,y)=S-1[f(x,y)] (3-24)式(3-24)是圖像復原的基本模型。,55,數(shù)字圖像處理與分析基礎,（2）、照明反射模型（3）、彩色模型2、離散模型3、隨機場模型三、圖像的數(shù)字化,,f(x,y)= i(x,y)r(x,y), 其中 0 ? i(x,y) ?Bm, 0 ?r(x,y) ?1,i(x,y)照射分量，r(x,y)反射分量， Bm最大光照強度。gmin ?g ?gmax

26、, gmin=imin rmin, gmax=imax rmax。 [gmin ，gmax ]是圖像灰度范圍。該模型常用于同態(tài)濾波，計算機圖形：真實感模型,2、照明反射模型,56,數(shù)字圖像處理與分析基礎,3、 通用的彩色模型,RGB模型HSI模型,57,數(shù)字圖像處理與分析基礎,（1）RGB模型 圖3-25,58,數(shù)字圖像處理與分析基礎,xyz相對三色系數(shù)（色品坐標）x+y+z=1,(x,y)CIE色度圖。對應于 x=

27、y=0.33的 E點，稱等能量點，CIE標準白光。,色品坐標系,59,數(shù)字圖像處理與分析基礎,,NTSC美國National television system committee:YIQ，Y亮度，I、Q色度Y=0.299R+0.587G+0.114BI=0.5R-0.231G-0.269BQ=0.203R-0.5G+0.297B,PAL(Phase alternation line) :YUV，Y亮度，U、V色度Y=0.

28、299R+0.587G+0.114BU=-0.169R-0.331G+0.5BV=0.5R-0.419G-0.081B,彩色信號傳輸：亮度、色度信號,60,數(shù)字圖像處理與分析基礎,（2）HSI模型,視覺生理模型色調（H，Hue）、色飽和度（S，Saturation）以及明度（I，Intensity）（Museum，孟塞爾顏色系統(tǒng)）在特定應用環(huán)境中，用于圖像分析有特殊的優(yōu)勢在只有光照亮度發(fā)生變化的應用中，不考慮明度，只使用色度進

29、行區(qū)域分割。,,61,數(shù)字圖像處理與分析基礎,圓錐體模型,62,數(shù)字圖像處理與分析基礎,,,RGB到HSI,63,數(shù)字圖像處理與分析基礎,HSI到RGB,64,數(shù)字圖像處理與分析基礎,顏色特征豐富了圖像處理的方法,色彩的識別，色彩分解，提取特征。濾色鏡，遙感、著色后細胞,65,數(shù)字圖像處理與分析基礎,4、彩色電視色度坐標系統(tǒng),RGB三基色系統(tǒng)稱為“物理三基色” CIE另外規(guī)定了一種虛擬的三基色系（XYZ）標準色度系統(tǒng)，在匹配各種彩色

30、時，三基色系數(shù)都是正值,,66,數(shù)字圖像處理與分析基礎,NTSC,NTSC制式彩色電視接收顯示原色的系統(tǒng)RNGNBN，發(fā)送系統(tǒng)YIQ均建立在XYZ之上,,,67,數(shù)字圖像處理與分析基礎,彩色坐標間的關系,相關的其它變換關系為,,68,數(shù)字圖像處理與分析基礎,5、噪聲的模型,噪聲的特征噪聲的來源噪聲模型,69,數(shù)字圖像處理與分析基礎,（1）噪聲的特征,圖像信號，f(x,y)噪聲，n(x,y)，隨機性的，可以用隨機過程來描述。一般常用

31、統(tǒng)計特征來描述，如均值、方差、相關函數(shù)等。均值E[n(x,y)]反映噪聲的直流分量，均方值E{n2(x,y)}反映噪聲的總功率，均方差E{(n(x,y)-E[n(x,y)])2}描述噪聲的交流功率，均值的平方[E{n(x,y)}]2，表示噪聲的直流功率。,70,數(shù)字圖像處理與分析基礎,（2）噪聲的來源,外部噪聲：從處理系統(tǒng)外來的影響，如電磁波干擾。內部噪聲：(1)由光和電的基本性質引起的噪聲。(2)機械運動產生的噪聲。

32、(3)元器件材料本身的缺陷帶來的噪聲。(4)系統(tǒng)內部電路噪聲。,71,數(shù)字圖像處理與分析基礎,噪聲分類,從統(tǒng)計觀點看平穩(wěn)噪聲凡是統(tǒng)計特征不隨時間變化的；非平穩(wěn)噪聲統(tǒng)計特征隨時間變化的。從噪聲幅度分布的統(tǒng)計來看其密度函數(shù)有高斯型、瑞利型等，分別稱為高斯噪聲和瑞利噪聲。按噪聲頻譜形狀命名的，如頻譜均勻分布的噪聲稱為白噪聲，頻譜與頻率成反比的稱為1/f噪聲，頻譜與頻率平方成正比的稱為三角噪聲,72,數(shù)字圖像處理與分析基礎,（3

33、）噪聲的模型,加法性噪聲：g(x,y)=f(x,y)+n(x,y) （3-43）,乘法噪聲：g(x,y)=f(x,y)[1+n(x,y)]=f(x,y)+f(x,y)n(x,y) （3-44）,73,數(shù)字圖像處理與分析基礎,3.2.2 離散模型,74,數(shù)字圖像處理與分析基礎,數(shù)字圖像，數(shù)字化,（1）連續(xù)畫面空間坐標離散化——采樣： 方形、三角形、正六角形點陣等。,（2）采樣點（像素）幅值（實數(shù)）取整——量

34、化： 均勻、非均勻/矢量、標量,75,數(shù)字圖像處理與分析基礎,1、圖像的均勻采樣,,,76,數(shù)字圖像處理與分析基礎,二維采樣定理,對于二維有限帶寬信號fc(x,y)，如果其二維傅立葉變換只在,的范圍內不為零，那么采樣間隔必須滿足,這樣才能保證信號可以重構。該條件稱為Nyquist采樣定理,77,數(shù)字圖像處理與分析基礎,2、圖像的量化,量化的準則是：若,則,,78,數(shù)字圖像處理與分析基礎,量化誤差,“量化誤差”“量化失真

35、”由量化誤差產生的圖像失真稱為。最優(yōu)量化器——量化均方誤差最小非線性,,79,數(shù)字圖像處理與分析基礎,非均勻采樣和量化,非均勻采樣灰度級變化大區(qū)域精確采樣，平滑區(qū)域粗采樣。非均勻量化灰度級變化劇烈處，人眼分辨力差，邊界附近較少灰度級；平緩區(qū)域較多灰度級，避免假輪廓,80,數(shù)字圖像處理與分析基礎,3、數(shù)字圖像的表示,整數(shù)矩陣向量,81,數(shù)字圖像處理與分析基礎,數(shù)字圖像，矩陣元素：像元、圖像元素、像素電視圖像：512?51

36、2 ? 128；一般圖像：256 ? 256 ? 64。,（1）整數(shù)矩陣,82,數(shù)字圖像處理與分析基礎,圖3-29 數(shù)字圖像舉例,,x,y,0,g (x,y),,83,數(shù)字圖像處理與分析基礎,矩陣,圖像清晰度（可分辨的細節(jié)的程度）取決于N和 k。N小，“檢測板效應”； k小，“假輪廓”。,圖像的數(shù)據(jù)量（bit）,圖3-29中g(x,y)既可以表示整幅圖像，也可以表示x行y列交點處的圖像的像素值，g(x,y)的值都是整數(shù)。,84,數(shù)