全景凝視系統(tǒng)中的關(guān)鍵技術(shù)研究.pdf

1、全景攝像機憑借其能實現(xiàn)大視場覆蓋、無盲區(qū)監(jiān)控的優(yōu)勢，在安防等領(lǐng)域受到廣泛的關(guān)注，然而全景攝像機對局部場景（目標(biāo)）的拍攝分辨率太低，這個缺陷嚴(yán)重限制了全景攝像機的更廣泛的應(yīng)用。全景凝視系統(tǒng)采用全景攝像機和PTZ（pan-tilt-zoom）攝像機相結(jié)合的方式，能夠兼顧全局無盲區(qū)監(jiān)控與局部高清監(jiān)控，結(jié)合計算機視覺目標(biāo)檢測跟蹤等相關(guān)前沿技術(shù)，全景凝視系統(tǒng)在監(jiān)控應(yīng)用中的巨大潛力有可能得到挖掘。本研究主要內(nèi)容包括：
　?、叛芯苛巳俺上裣到y(tǒng)

2、中的魚眼鏡頭畸變校正問題。提出在Bayer圖像信號上進行魚眼鏡頭畸變的校正，以增加成像系統(tǒng)設(shè)計的靈活性。首先，提出了一種適合于嵌入式硬件實現(xiàn)的魚眼鏡頭畸變校正方法，即VPF投影方法，該方法具有無需圖像幀緩存、極小延時、計算資源少等優(yōu)勢；其次，由于畸變校正過程中要進行圖像的插值，提出了適用于Bayer圖像信號的圖像插值算法，即基于Hermite和通道相關(guān)假設(shè)的Bayer圖像插值方法，該方法能夠利用Bayer圖像中相鄰位置、不同顏色通道的像

3、素之間的相關(guān)性進行更準(zhǔn)確的圖像插值，仿真實驗的定性及定量的實驗結(jié)果均表明，其能得到比傳統(tǒng)插值方法（線性插值、立方插值）更好的效果；最后，基于FPGA嵌入式硬件平臺驗證了所提出的基于Bayer圖像信號的魚眼鏡頭畸變校正方法，實驗平臺事實上構(gòu)成了一種基于魚眼鏡頭的全景成像原型系統(tǒng)。
　　⑵研究了全景攝像機和PTZ攝像機的聯(lián)合標(biāo)定問題，聯(lián)合標(biāo)定的目的是得到從全景攝像機圖像坐標(biāo)到PTZ攝像機運動參數(shù)的映射關(guān)系。首先，根據(jù)兩攝像機同視點的假

4、設(shè)和攝像機成像基本模型建立了兩攝像機之間的旋轉(zhuǎn)模型，考慮到旋轉(zhuǎn)模型的假設(shè)與實際情況存在多方面的出入，例如，同視點假設(shè)難以滿足、所采用的PTZ攝像機理想云臺模型也難以得到保證，本文提出了基于局部旋轉(zhuǎn)的映射模型；其次，基于特征點匹配的相關(guān)技術(shù)實現(xiàn)了局部旋轉(zhuǎn)映射模型的求解，其中，提出了基于重投影的特征點匹配方法，提高了全景圖像和PTZ圖像之間特征匹配的效果（特征點數(shù)量、匹配速度），提出了適用于局部旋轉(zhuǎn)映射模型的滑窗式RANSAC魯棒算法，有效

5、剔除了錯誤的特征點對。最后，在4種典型應(yīng)用場景中進行了聯(lián)合標(biāo)定實驗，實驗結(jié)果表明，所提出的聯(lián)合標(biāo)定方法適用范圍廣、可操作性強，在20倍焦距（2.8度視場角）聯(lián)動測試中，至少95％的測試目標(biāo)均能在PTZ攝像機畫面內(nèi)，標(biāo)定精度能夠滿足大多數(shù)監(jiān)控應(yīng)用需求。
　?、茄芯苛巳澳曄到y(tǒng)的行人檢測跟蹤技術(shù)。行人監(jiān)控是全景凝視系統(tǒng)的典型應(yīng)用之一，針對獲取大范圍場景中所有行人的高清圖像（序列）的問題，結(jié)合全景凝視系統(tǒng)的特征，首先提出了全景凝視系統(tǒng)

6、的行人檢測跟蹤基本框架；其次，在框架范圍內(nèi)，重點研究了基于圖像的行人檢測技術(shù)，提出了基于尺度歸一化的積分通道特征和嵌入重采樣的級聯(lián)檢測算法的行人檢測方法，基于INRIA標(biāo)準(zhǔn)數(shù)據(jù)集的對比實驗表明所提出的行人檢測方法能夠達到主流的檢測效果，在普通筆記本上能夠達到接近每秒8幀的檢測速度。再次，在框架范圍內(nèi)，重點研究了基于檢測的跟蹤方法，基于粒子濾波跟蹤技術(shù)實現(xiàn)對圖像行人檢測效果的提升和行人目標(biāo)的編號（實現(xiàn)跟蹤），針對PTZ攝像機云臺旋轉(zhuǎn)和鏡頭

7、變倍帶來的目標(biāo)狀態(tài)發(fā)生突變的問題，在粒子濾波目標(biāo)跟蹤框架下提出了基于特征點導(dǎo)向的運動模型。在典型的行人監(jiān)控應(yīng)用場景中搭建了全景凝視系統(tǒng)，進行了行人檢測跟蹤技術(shù)的測試，測試表明系統(tǒng)能夠自動獲取至少100米范圍內(nèi)的行人目標(biāo)的高清圖像序列?；谠搶嶒灜h(huán)境，重點實驗分析了基于檢測的行人跟蹤算法，實驗表明，基于檢測的跟蹤技術(shù)能夠在檢測的基礎(chǔ)上有效地提高目標(biāo)檢測效果，減少誤檢、彌補漏檢，同時能夠得到穩(wěn)定的目標(biāo)跟蹤結(jié)果，對目標(biāo)遮擋情況也有一定的處理能