基于深度數(shù)據(jù)的人體視頻編輯.pdf

1、隨著相機的不斷普及，圖像與視頻的獲取越來越簡單，大量圖像與視頻數(shù)據(jù)的涌現(xiàn)也使得越來越多的研究者關(guān)注圖像與視頻的處理．Photoshop等商業(yè)軟件的成功也表示傳統(tǒng)的圖像處理已經(jīng)相對成熟，但它們的操作都是非語義的，即處理圖像的時候并沒有考慮圖像本身的內(nèi)容.最近幾年來，越來越多的研究者關(guān)注于基于內(nèi)容的圖像以及視頻的處理，即針對圖像或圖像中特定的內(nèi)容進行有語義的處理．而其中，相當(dāng)多的文章利用重建出的粗糙的三維數(shù)據(jù)輔助進行二維的處理，如進行視頻的

2、多視角瀏覽，視頻中人物的體型變形等。
　　 本文主要關(guān)注于視頻編輯的操作，即通過簡單地編輯一幀圖像達到編輯所有視頻幀的效果.傳統(tǒng)的這種編輯操作都是通過逐幀跟蹤的方法得到視頻中像素點的路徑，并將編輯通過視頻路徑進行傳遞.但傳統(tǒng)的方法對于出現(xiàn)像素點遮擋后又出現(xiàn)的情況時便出現(xiàn)路徑跟蹤丟失的問題．為了得到全局一致的路徑，我們第一次提出將每一幀圖像都與模板幀進行注冊并對應(yīng).
　　 而在進行變化較大的兩幀圖像之間的注冊時，三維信息是

3、必不可少的，我們利用最近微軟開發(fā)出的Kinect攝像機拍攝到的三維深度數(shù)據(jù)輔助進行兩幀圖像之間的對應(yīng)．考慮到Kinect也可以實時捕捉到人物的骨架信息，我們首先基于人體數(shù)據(jù)庫以及每一幀的骨架信息從三維深度數(shù)據(jù)中重建出人體模型.然后我們基于人體模型對大變化的兩幀非剛性點云進行注冊得到初始對應(yīng)，并基于一種改進的光流的方法利用圖像信息對其進行優(yōu)化，最后我再對整體的路徑進行一次時空連續(xù)性的優(yōu)化.文章的最后，我們給出了各種編輯結(jié)果，可以看出我們的