基于運動信息與背景信息相結(jié)合的視頻序列配準(zhǔn).pdf

1、視頻序列配準(zhǔn)是圖像處理的一個重要領(lǐng)域，是對不同攝像機從不同角度或者不同時間拍攝的相似視頻序列進(jìn)行時間同步和空間幾何校準(zhǔn)的技術(shù)，廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)識別、視頻拼接以及三維重建等眾多計算機視覺領(lǐng)域。本文主要的研究工作以及成果如下：
　　1、詳細(xì)討論了兩種經(jīng)典的基于軌跡的視頻序列配準(zhǔn)方法，這兩種方法分別是基于時間線約束和基于軌跡射影不變表示的方法。研究表明，目前的方法存在一些問題?；跁r間線約束的方法采用背景圖像間的對極幾何信息描述

2、軌跡點，同時利用軌跡與對極線的交點尋找候選匹配軌跡點，該方法對于運動軌跡是曲線的視頻序列可以獲得較好的配準(zhǔn)效果，但是對于軌跡近似是直線并與其對極線重合的視頻序列，由于找到的軌跡與對極線的交點太多致使配準(zhǔn)效果較差?；谲壽E射影不變表示的方法，采用軌跡點鄰域內(nèi)的形狀信息描述軌跡點，同時利用交比的統(tǒng)計特性尋找候選匹配軌跡點，從而實現(xiàn)視頻序列的時間同步，但是該方法對于軌跡上存在大量形狀特征相似的軌跡段的視頻序列，獲取的描述符不具有很好的區(qū)分性致

3、使配準(zhǔn)結(jié)果誤差較大。此外，上述兩種算法描述軌跡點時均忽略了運動目標(biāo)與背景特征之間的空間信息。
　　2、針對以上兩種算法存在的問題，提出了一種基于運動信息與背景信息相結(jié)合的視頻序列配準(zhǔn)算法，該算法首先采用低秩與稀疏分解算法分別提取參考視頻序列和待配準(zhǔn)視頻序列的背景圖像和運動軌跡，并采用特征點檢測與匹配的方法，獲取背景圖像的特征點匹配對；其次利用獲得的背景圖像的特征點匹配對，計算背景圖像間的基礎(chǔ)矩陣，并從中選取三維空間中不共面的四個點

4、對應(yīng)的匹配點對；然后利用運動目標(biāo)與背景特征的空間信息來進(jìn)一步提高軌跡點的可區(qū)分性，采用三維空間中不共面的四個點建立的坐標(biāo)系以及對極幾何約束共同對軌跡進(jìn)行描述和匹配，獲取候選時間對應(yīng)點的集合；最后采用隨機抽樣一致性算法對候選時間對應(yīng)點的集合進(jìn)行時間線擬合，確定參考視頻序列和待配準(zhǔn)視頻序列之間的時空變換模型參數(shù)。仿真實驗表明提出的算法與基于時間線約束和基于軌跡射影不變表示的方法相比，能夠獲得更加精確的配準(zhǔn)結(jié)果，尤其對于場景中運動目標(biāo)的軌跡近