全景圖技術(shù)研究.pdf

1、近年來，虛擬現(xiàn)實(shí)技術(shù)已成為計(jì)算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)之一。它利用計(jì)算機(jī)多媒體技術(shù)在計(jì)算機(jī)系統(tǒng)中仿真真實(shí)世界的環(huán)境，通過計(jì)算機(jī)的相關(guān)設(shè)備來模擬人體的視覺、聽覺等真實(shí)感知，使參與者在其中產(chǎn)生與在真實(shí)環(huán)境中相同或相似的體驗(yàn)。根據(jù)人類的生理特點(diǎn)，在各種感知中視覺感知占80％，視覺的模擬即虛擬場景的生成占有十分重要的地位，是虛擬現(xiàn)實(shí)中核心問題。
　　虛擬場景的生成技術(shù)通?？梢苑譃閮深悾夯趫D形的幾何繪制技術(shù)(GBR)和基于圖像的繪制(IBR)

2、技術(shù)。與GBR技術(shù)相比，IBR技術(shù)由于其獲取方便、計(jì)算量小、繪制速度快、真實(shí)感強(qiáng)等許多優(yōu)勢，從而成為計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)新的研究熱點(diǎn)。IBR技術(shù)中全景圖技術(shù)最為熱門，目前國內(nèi)外都在積極研究全景圖的相關(guān)技術(shù)。全景圖是采集某一視點(diǎn)處的場景圖像，通過一系列的全景圖技術(shù)對這些圖像進(jìn)行處理，建立在該視點(diǎn)處的場景模型，模擬用戶處于真實(shí)場景某一位置向四周觀察的視覺效果。
　　通常獲取全景圖需要高檔昂貴的硬件設(shè)備支持，這制約了全景圖技術(shù)的廣泛應(yīng)

3、用，使用普通數(shù)碼相機(jī)的全景圖技術(shù)已成為目前的研究熱點(diǎn)。這種方法只需用戶手持普通數(shù)碼相機(jī)，在現(xiàn)實(shí)環(huán)境中某一視點(diǎn)位置，拍攝一些相互有重疊的圖像，全景圖的繪制可由計(jì)算機(jī)自動完成。但是由于手持相機(jī)采集圖像，尤其是采用自動對焦和曝光，會造成相鄰圖像之間的視角變化、旋轉(zhuǎn)、縮放、曝光差異、模糊等情形，這影響著全景圖的繪制以及全景圖的質(zhì)量，從而提高了對全景圖技術(shù)的要求，如何快速、準(zhǔn)確地生成高質(zhì)量的全景圖成為研究的重點(diǎn)和難點(diǎn)。
　　本文研究基于普通

4、數(shù)碼相機(jī)的全景圖繪制技術(shù)，對全景圖繪制中的關(guān)鍵技術(shù)進(jìn)行了深入的研究，提出了新的方法和算法。在此基礎(chǔ)上，提出了基于LPP-SIFT的全景圖繪制方法。本文所做的研究工作和創(chuàng)新如下：
　　(1)全景圖關(guān)鍵技術(shù)的研究
　　在采集圖像的過程中，場景中可能出現(xiàn)光照變化、物體運(yùn)動，相機(jī)本身存在著平移、旋轉(zhuǎn)、傾斜等多種運(yùn)動方式。這些因素都加大了全景圖繪制的難度。為了獲得高質(zhì)量的全景圖，本文以魯棒的SIFT特征為基礎(chǔ)，對特征的提取和描述、特征

5、匹配、圖像配準(zhǔn)、圖像融合等全景圖關(guān)鍵技術(shù)進(jìn)行深入研究。
　?、俦疚囊許IFT特征為基礎(chǔ)，提出LPP-SIFT特征描述算法。
　　由于在SIFT特征提取過程中，浮點(diǎn)運(yùn)算量大、提取速度慢，但又存在許多數(shù)據(jù)塊的獨(dú)立計(jì)算，所以利用GPU實(shí)現(xiàn)并行計(jì)算，將SIFT特征提取的速度提高近20倍。SIFT特征描述子是高維數(shù)據(jù)，存在存儲空間需求大、影響后期的特征匹配速度的不足。LPP-SIFT算法則利用LPP流形學(xué)習(xí)的思想，將SIFT特征描述子

6、線性降維，得到LPP-SIFT特征描述子，它保持特征描述子之間幾何結(jié)構(gòu)不變。算法中分配適當(dāng)?shù)臋?quán)重給描述子，增強(qiáng)描述子之間的可區(qū)分性。LPP-SIFT算法既節(jié)省描述子的存儲空間，又提高了特征匹配精度和速度。
　　②SIFT描述子用梯度方向直方圖描述特征點(diǎn)，通常采用歐氏距離作為SIFT描述子相似性的度量，但這種度量方式是假定兩個(gè)直方圖的Bin必須是一一對應(yīng)的，而且未考慮相鄰Bin之間的相關(guān)性，較容易出現(xiàn)特征匹配的誤判。本文提出FEMD

7、匹配算法，該算法把直方圖的比較轉(zhuǎn)化成EMD度量，考慮了相鄰Bin之間的相關(guān)，并將Bin間的基礎(chǔ)距離閾值化，把流網(wǎng)絡(luò)按閾值距離進(jìn)行簡化，通過求解最小費(fèi)用流得到特征向量(直方圖)之間的度量，從而實(shí)現(xiàn)特征之間的魯棒匹配。
　?、厶岢龌贔RRLM與BFS的無序圖像配準(zhǔn)和分組方法。
　　FRRLM算法在三個(gè)方面改進(jìn)了RANSAC算法：選擇質(zhì)量好的樣本點(diǎn)和模型參數(shù)預(yù)檢驗(yàn)來提高RANSAC計(jì)算效率；使用奇異值分解法SVD求解模型參數(shù)，避

8、免矩陣奇異導(dǎo)致最小二乘解的不穩(wěn)定性；用互映射的距離差平方和作為誤差評價(jià)函數(shù)，增強(qiáng)模型參數(shù)的穩(wěn)定性和可靠性。用浮點(diǎn)數(shù)計(jì)算坐標(biāo)，提高模型參數(shù)的精度。在LM算法的迭代中對參數(shù)加以約束，加速迭代收斂，以適應(yīng)圖像變換矩陣的參數(shù)優(yōu)化，提高了矩陣求精的效率。根據(jù)FRRLM算法保留的內(nèi)點(diǎn)數(shù)量，構(gòu)造圖像匹配鄰接圖。兩次采用BFS廣度優(yōu)先搜索法搜索鄰接圖，獲取以基準(zhǔn)圖像為初始拼接圖像的分組。這種方法具有實(shí)現(xiàn)簡單、分組準(zhǔn)確的特點(diǎn)。
　?、芴岢龌贑TB

9、SL的融合算法。
　　首先，該算法在lαβ色彩空間中，利用圖像的均值、標(biāo)準(zhǔn)差等統(tǒng)計(jì)信息，對圖像的重疊區(qū)域進(jìn)行色彩傳遞，實(shí)現(xiàn)有曝光差異的亮度自動調(diào)節(jié)。然后采用亮度差異和梯度差異的加權(quán)合成作為重疊區(qū)域圖像相似性的評價(jià)準(zhǔn)則，亮度差異和梯度差異的權(quán)值由重疊區(qū)域曝光校正的系數(shù)啟發(fā)式調(diào)節(jié)，該算法找出的最佳縫合線能更好地達(dá)到消除鬼影現(xiàn)象的目的。
　　(2)提出基于LPP-SIFT的全景圖繪制方法
　　本文將以上全景圖關(guān)鍵技術(shù)的研究成

10、果運(yùn)用于全景圖的繪制，提出基于LPP-SIFT的全景圖繪制方法。首先應(yīng)用GPU加速的方法提取SIFT特征，再用LPP-SIFT描述子保留特征點(diǎn)幾何結(jié)構(gòu)的同時(shí)實(shí)現(xiàn)線性降維。采用FEMD算法實(shí)現(xiàn)特征點(diǎn)的魯棒匹配，通過FRRLM算法剔除外點(diǎn)，對變換矩陣參數(shù)求精。對于任意的輸入圖像，用基于BFS方法實(shí)現(xiàn)圖像自動分組，根據(jù)需要用色彩傳遞的方法再將分組后的圖像進(jìn)行亮度校正。把同一組中的圖像都投影到統(tǒng)一的坐標(biāo)系中，再對相鄰圖像的重疊區(qū)域?qū)ふ易罴芽p合線