虛擬空間會議立體圖像匹配技術(shù)及應(yīng)用研究.pdf

1、虛擬空間會議(Virtual Space Teleconferencing，VST)系統(tǒng)是虛擬現(xiàn)實技術(shù)與計算機網(wǎng)絡(luò)和多媒體相結(jié)合的產(chǎn)物，它突破了傳統(tǒng)的地域觀念，利用虛擬現(xiàn)實技術(shù)，將不同地點與會終端的局部會場合成一個共同的虛擬空間，與會者以化身(avatar)的形式在這個虛擬空間中，通過化身在虛擬空間中定位、觀察、操縱虛擬空間的實體、與其他用戶進行交互等方式“共享同一空間”，具有身臨其境之感。因而又被稱為“終極會議系統(tǒng)(Ultimate

2、Teleconferencing System)”。為了達到具有眼神接觸、凝視感知的真實會議系統(tǒng)，構(gòu)建具有實時性和逼真感的與會者的化身是VST的研究熱點。本文著重研究了VST中與會者的化身建模、三維重建、立體圖像匹配等演示技術(shù)，運用了超小波、隨機數(shù)學(xué)和偏微分方程等理論，提出了多種立體圖像匹配方法并構(gòu)建一個虛擬空間會議的原型系統(tǒng)。主要研究內(nèi)容如下： 首先針對立體圖像的區(qū)域匹配中，遮掩、區(qū)域變形及光照條件會對匹配算法造成很大的影響，

3、傳統(tǒng)的順序性約束、惟一性約束、外極線約束和鄰域約束并不能很好地解決這些問題，而近幾年提出的相對位置約束卻能解決其中大部分問題，但對于區(qū)域的遮掩情況依然效果不佳。并且當(dāng)對多個候選區(qū)域進行最佳匹配選擇時，通常依靠區(qū)域的單一參量進行判別，但受到視點的變換時效果并不理想。本文提出一種結(jié)合已匹配區(qū)域參量構(gòu)造視差梯度函數(shù)的立體圖像區(qū)域匹配方法，該方法摒棄了現(xiàn)有算法中單一參量不穩(wěn)定的特性；此外提出了基于Zernike矩、中心環(huán)投影曲線相關(guān)、小波變換及

4、分形維的立體圖像區(qū)域匹配方法。實驗結(jié)果證明，針對于區(qū)域的半遮掩、變形和細微差別等情況，本文的算法都具備更好的識別性能，是一種行之有效的區(qū)域匹配算法。 其次基于曲波變換是繼小波變換后的一種新型的多尺度分析方法，它能夠更好的描述圖像中曲線狀和超平面的奇異性問題，本文把曲波變換系數(shù)作為圖像匹配中的基元，并結(jié)合圖像分割原理和馬爾可夫隨機場(MRF)模型，提出了一種新的基于Markov模型和曲波的立體圖像匹配方法，該方法克服了基于圖像灰度

5、的匹配方法在平滑區(qū)域或細節(jié)匱乏處無法得到正確視差的弊端，并使得視差圖在物體內(nèi)部平滑并保持邊緣處的不連續(xù)性。實驗結(jié)果表明，本文提出的算法無論從視覺評價上還是視差圖客觀指標來看，都取得更優(yōu)的結(jié)果。 再次本文運用偏微分方程理論提出一種改進的立體圖像匹配的正則化方法。先分析了匹配點對在不同相對位置下對匹配項產(chǎn)生的影響；接著提出了適用于視差圖的各向異性的熱擴散方程，它不僅繼承了Alvarez定義的正則項對初始視差圖內(nèi)部平滑和保持邊緣不連續(xù)

6、的特性，還引入了圖像的噪聲屏蔽函數(shù)和二階方向?qū)?shù)來分別控制對應(yīng)視差圖中不同區(qū)域的擴散速度和角點處的擴散方向；通過本文定義的正則項和匹配項構(gòu)造新的能量函數(shù)，并把基于區(qū)域匹配算法得到的視差圖作為初始值，數(shù)值求解相應(yīng)的最小能量泛函。實驗結(jié)果表明無論從視覺效果上還是重構(gòu)深度圖的判別上，本文的算法均為優(yōu)秀。由于視差圖反映了圖像中各個景物的深度信息量，因此視差圖的邊緣并非是對應(yīng)圖像的邊緣。而現(xiàn)有的正則化方法中能量函數(shù)的正則項都依照圖像梯度場對初始視

7、差圖內(nèi)部進行平滑并保持邊緣的不連續(xù)性，這導(dǎo)致最終獲取的密集視差圖不僅不能準確分辨物體邊緣且平滑區(qū)域具有較多的圖像邊界殘留痕跡。光流反映了目標物體的運動狀態(tài)且包含的運動邊界與物體邊界相吻合，但光流計算中的正則項使其在邊界上是模糊不準確的，因此本文采用了多分辨率框架下由粗到精的分級策略來計算大基線時左右圖像中的光流場，并結(jié)合圖像邊界和光流來確定準確的運動邊界，提出了一種融合光流信息的正則化方法，該方法利用攜帶景物深度信息的光流場構(gòu)造了融合光