視頻增強(qiáng)虛擬場(chǎng)景中PTZ相機(jī)注冊(cè)與融合方法研究.pdf

1、PTZ(Pan-Tilt-Zoom)相機(jī)在安防中廣泛應(yīng)用，用于安防領(lǐng)域的視頻監(jiān)控系統(tǒng)一般通過(guò)多路獨(dú)立的視頻監(jiān)視器觀(guān)看，由于視頻間是分散、相互獨(dú)立的，監(jiān)控人員往往因?yàn)樾畔⒉煌暾B貫而產(chǎn)生疏漏。視頻增強(qiáng)虛擬環(huán)境技術(shù)（AVE）通過(guò)把二維視頻嵌入三維虛擬場(chǎng)景，實(shí)現(xiàn)了虛景與實(shí)景相融合，抽象與現(xiàn)實(shí)相結(jié)合，有利于從宏觀(guān)上把握視頻與場(chǎng)景的空間關(guān)聯(lián)，為地理場(chǎng)景的認(rèn)知提供更為全面的時(shí)空信息，更為宏觀(guān)的觀(guān)察視角，更好地服務(wù)安防等領(lǐng)域。
　　視頻圖像與虛

2、擬三維場(chǎng)景融合的前提是相機(jī)在虛擬場(chǎng)景中的注冊(cè)。通過(guò)引入人工標(biāo)志物是相機(jī)注冊(cè)的常用方法，但這種方法難以應(yīng)用于相機(jī)動(dòng)態(tài)調(diào)整的場(chǎng)景。大多數(shù)監(jiān)控相機(jī)都是可以動(dòng)態(tài)調(diào)整姿態(tài)與焦距的PTZ相機(jī)，除非廠(chǎng)商軟件支持，無(wú)法實(shí)時(shí)獲取相機(jī)調(diào)整后的姿態(tài)和焦距等信息，從而造成視頻與場(chǎng)景無(wú)法準(zhǔn)確融合。本文基于計(jì)算機(jī)視覺(jué)的理論和技術(shù)，對(duì)PTZ相機(jī)視頻與虛擬三維場(chǎng)景的融合方法進(jìn)行了相關(guān)研究，主要研究?jī)?nèi)容與成果如下:
　　(1)分析了相機(jī)的成像模型與虛擬場(chǎng)景中虛擬相

3、機(jī)的成像模型的關(guān)系，并明確了相機(jī)內(nèi)外參數(shù)與三維渲染引擎中虛擬相機(jī)設(shè)置參數(shù)的關(guān)系，在無(wú)需引入額外的人工標(biāo)志物的情況下，通過(guò)反投影方法獲得3D模型世界坐標(biāo)，然后利用線(xiàn)性方法快速估計(jì)和非線(xiàn)性方法迭代優(yōu)化求值相結(jié)合的方法，對(duì)視頻相機(jī)的初始參數(shù)進(jìn)行計(jì)算，實(shí)現(xiàn)相機(jī)在虛擬場(chǎng)景中的初始注冊(cè)。
　　(2)對(duì)PTZ相機(jī)參數(shù)的實(shí)時(shí)變化進(jìn)行了分析，提出了基于計(jì)算機(jī)視覺(jué)理論的PTZ相機(jī)實(shí)時(shí)跟蹤與注冊(cè)方法。該方法首先通過(guò)視頻幀全局特征快速檢測(cè)出相機(jī)參數(shù)是否發(fā)

4、生變化，然后再使用局部特征精確匹配對(duì)相機(jī)進(jìn)行實(shí)時(shí)注冊(cè)，確保PTZ相機(jī)調(diào)整后視頻與虛擬場(chǎng)景的自動(dòng)準(zhǔn)確融合。上述方法既兼顧了融合效率與融合質(zhì)量，也避免了人工調(diào)整的繁瑣性和滯后性。
　　(3)在視頻相機(jī)已經(jīng)注冊(cè)的前提下，本文分析了虛擬相機(jī)投影視頻紋理的原理，并結(jié)合ShadowMap陰影算法和GPU Shader技術(shù)，基于OpensSceneGraph三維渲染引擎實(shí)現(xiàn)了PTZ相機(jī)視頻與虛擬三維場(chǎng)景的實(shí)時(shí)融合。
　　實(shí)驗(yàn)結(jié)果驗(yàn)證了本文