視頻時空聯(lián)合模型與去噪研究.pdf

1、視頻信號是客觀事物連續(xù)采樣的結果，相鄰視頻像素間具有很強的相關性，利用這種相關性可以為視頻處理帶來性能的提升。為分析視頻語義，提升視頻處理的效果，人們引入時空聯(lián)合來描述這種復雜的時域與空域的相關性。隨著視頻信號處理技術的發(fā)展，時空聯(lián)合方法已經成為發(fā)掘視頻信號中的潛在信息的重要途徑。傳統(tǒng)的信號模型將視頻信號視為隨機變量，時域關系與空域關系通常被分離，相應地時域處理與空域處理只能獨立進行，時空聯(lián)合處理一般都是在處理結果上進行聯(lián)合。要提升視頻

2、處理的時空聯(lián)合程度，必須建立反映視頻時空特性的視頻模型。本文圍繞時空聯(lián)合處理的問題，對時空聯(lián)合視頻信號建模、時空聯(lián)合去噪、基于時空聯(lián)合模型的對象檢測與跟蹤等問題進行了研究，主要獲得了以下幾方面成果：
　　 1、提出了視頻剛體模型。視頻剛模型以只存在平移、縮放和旋轉三種運動的剛體區(qū)域分解視頻對象區(qū)域，以剛體區(qū)域的運動表達視頻信號的時域關系，以剛體區(qū)域及其層次關系表達視頻信號的空域關系。剛體模型的獲取包括區(qū)域劃分、區(qū)域匹配、層次判定

3、、運動估計和區(qū)域再劃分等過程：剛體區(qū)域可以通過顏色區(qū)域分割得到初步結果，區(qū)域間通過邊緣句法進行匹配，區(qū)域層次則通過相互遮擋關系進行判定，區(qū)域間的運動關系可以通過區(qū)域的邊緣轉折點進行最小二乘估計，當估計誤差較大時，對區(qū)域進行重復劃分，直到所有對應像素的顏色絕對差值和進行許可范圍。
　　 2、提出了視頻流體模型。流體模型將同一對象區(qū)域在視頻中不同時刻的成像視為一個整體，使用視頻流線表示對象的質心運動，視頻流紋表示對象的質點運動，視頻

4、流線在時域上光滑，視頻流紋在空域與時域上均光滑。視頻流紋可以通過切出線、補入線、旋轉子和平移子描述其變化，進行簡化表示。流體模型的獲取過程包括區(qū)域劃分、流線計算、流紋計算等過程：流體的初始區(qū)域可以通過顏色區(qū)域分割獲得，流線可以先通過其時域上的光滑性預測、然后用對應區(qū)域的質心校正，流紋可以利用其上對應像素顏色不變以及流紋在流體區(qū)域內光滑、在時域上光滑等條件進行嚴格計算，也可以使用等色線進行估計，根據流紋的空域光滑性情況，還可以對流體區(qū)域進

5、行合并或再劃分。
　　 3、研究了基于時空聯(lián)合模型的視頻去噪方法?；趧傮w模型的中值去噪方法以剛體的時空關系決定鄰域，根據污染程度判斷像素的參考價值，能適應高椒鹽噪聲去噪的需要。基于流體模型的中值去噪根據流紋的時域、空域光滑性判斷像素的污染程度與去噪參考價值。基于剛體模型的插值去噪算法通過插值恢復視頻在剛體區(qū)域內的光滑性?；诹黧w模型的插值去噪算法通過插值恢復流紋的光滑性?；跁r空聯(lián)合模型的視頻去噪方法的去噪效果明顯優(yōu)于單純的時

6、域或空域去噪算法，也超過了基于運動補償的時空聯(lián)合去噪方法。
　　 4、提出了一種利用幾何均值聯(lián)合時、空結果的視頻去噪方法。該方法以卡爾曼濾波進行時域濾波，以中值濾波進行空域濾波，根據時域與空域的污染程度計算結果的可靠性，以時域去噪結果與空域去噪結果的幾何均值作為最終去噪的結果?；诳柭鼮V波與中值濾波的去噪方法去椒鹽噪聲效果超越了以往的各種時空聯(lián)合去噪方法。
　　 5、將時空聯(lián)合模型應用到鋼管生產過程視頻監(jiān)測的問題中，提

7、出了基于視頻流體模型的目標檢測與跟蹤方法。基于流體模型對鋼管視頻建模，可以較容易獲得各視頻對象的流紋特征，結合視頻幀內的空域關系，容易識別鋼管生產視頻中的人、鋼管、設備與地面等不同的對象?；诹黧w模型的鋼管目標跟蹤通過流線與流紋的時域光滑性進行預測，通過流紋的空域光滑性進行位置校正。根據鋼管生產過程視頻監(jiān)測的需要，本文還建立了基于流體標記的多鏡頭跟蹤與視頻聯(lián)動機制。實驗結果表明，基于流體模型的目標檢測方法能準確地檢測出完整的鋼管目標，基