視頻分割與基于對象的編碼研究.pdf

1、該論文主要研究視頻運(yùn)動分析、視頻分割和基于對象的編碼,得到了國家自然科學(xué)基金項目(60072013)和南京郵電學(xué)院"圖像處理與圖像通信"江蘇省重點(diǎn)實(shí)驗(yàn)室項目(K02091)的資助.主要內(nèi)容包括局部運(yùn)動分析中的光流運(yùn)動估計、適用于視頻對象分割的塊匹配運(yùn)動估計,全局運(yùn)動分析中的攝像機(jī)全局運(yùn)動參數(shù)估計與補(bǔ)償、攝像機(jī)的運(yùn)動模式識別,視頻鏡頭分割,視頻對象的時空聯(lián)合分割以及基于視頻對象的可伸縮性小波編碼等.首先研究了運(yùn)動分析,包括局部運(yùn)動分析和全

2、局運(yùn)動分析.前者是通過對視頻序列的計算估計出現(xiàn)頻中不同物體的運(yùn)動情況,而后者則是通過對視頻序列的計算估計出攝像機(jī)的整體運(yùn)動.在局部運(yùn)動分析中,主要研究了光流運(yùn)動估計和塊匹配運(yùn)動估計.通過對光流基本約束項和平滑約束項加以改進(jìn),提出一種自適應(yīng)的光流估計算法,能夠較精確地進(jìn)行光流運(yùn)動估計,減輕Horn方法中全局平滑約束對運(yùn)動邊界的影響,提高了運(yùn)動估計的峰值信噪比.為減少計算量,在充分考慮視頻對象分割特點(diǎn)的基礎(chǔ)上,提出了一種分層塊匹配的運(yùn)動估計

3、方法,有較快的估計速度和較高的峰值信噪比,分割效果良好,可以用于實(shí)時的視頻對象分割系統(tǒng)中.在全局運(yùn)動分析中,對攝像機(jī)的全局運(yùn)動做了定量和定性的分析.定量分析是指對攝像機(jī)全局運(yùn)動參數(shù)的估計與補(bǔ)償,定性分析是指對攝像機(jī)各種全局運(yùn)動模式的識別.論文研究了各種全局運(yùn)動模型和參數(shù)估計方法并介紹了它們在視頻對象分割、視頻鏡頭分割中的應(yīng)用.針對目前視頻內(nèi)容分析、視頻鏡頭分割算法中極少有考慮到視頻抖動(攝像機(jī)抖動)的,提出了一種視頻抖動的檢測算法,能比

4、較準(zhǔn)確地檢測出抖動的視頻鏡頭.在考慮到視頻抖動的情況下提出了一種視頻鏡頭的分割算法.在基于數(shù)學(xué)形態(tài)學(xué)的視頻對象時空聯(lián)合分割方法中,引入了一種新的分水嶺空間分割算法,通過對數(shù)據(jù)結(jié)構(gòu)的改進(jìn),使算法具有較快的執(zhí)行速度;通過對輸入梯度圖像的改進(jìn),使空間分割效果良好.論文使用不同的運(yùn)動估計方法來完成時間分割,如光流運(yùn)動估計和適用于視頻對象分割的塊匹配運(yùn)動估計等,然后提出了幾種區(qū)域合并算法以得到具有語義的視頻對象,如利用仿射模型來描述每個分割小塊,

5、并利用其6個仿射參數(shù)所組成的向量范數(shù)來進(jìn)行基于運(yùn)動的區(qū)域合并.基于數(shù)學(xué)形態(tài)學(xué)的視頻對象分割方法速度快,自動化程度較高,分割效果也比較理想.在基于聚類分析的視頻對象時空聯(lián)合分割方法中,首先提出了一種基于改進(jìn)的多特征模糊聚類分割算法.它把灰度、運(yùn)動、位置、幀差、紋理等多個特征分量組成一個多維的特征向量空間作為模糊聚類的輸入,并動態(tài)地調(diào)整多個特征分量的權(quán)值.同時通過對距離量度和聚類損失函數(shù)的修改,大大提高了視頻對象分割結(jié)果的空間相關(guān)性.然后把

6、視頻序列中連續(xù)7幀圖像作為一組,對每組中間那一幀進(jìn)行初始分割,而對組內(nèi)其他幀則采用時域跟蹤方法進(jìn)行分割.初始分割采用改進(jìn)的多特征模糊聚類;時域跟蹤是利用上一幀的分割結(jié)果通過運(yùn)動估計向下一幀投影,作為下一幀的初始分割來完成的.這種視頻對象分割算法的時間和空間相關(guān)性都比較強(qiáng).最后研究了基于對象的編碼,提出一種基于對象的可伸縮小波編碼器:首先對任意形狀的對象而不是整幀圖像做適形小波變換,這樣較大地提高了編碼效率;然后用適形預(yù)測零樹來同時編碼變