序列圖像光流計算關(guān)鍵技術(shù)研究及其在三維重建中的應(yīng)用.pdf

1、光流描述了可由視覺感知的運動，被廣泛的應(yīng)用于機器人自動導航、無人汽車輔助駕駛、人臉表情動態(tài)跟蹤等領(lǐng)域，是進行目標運動分析與理解的重要手段，一直是計算機運動視覺及相關(guān)領(lǐng)域的重要研究內(nèi)容。經(jīng)過近30年的發(fā)展，光流算法的很多基礎(chǔ)問題得到解決，應(yīng)用環(huán)境由最初實驗室內(nèi)理想光照條件、人工布置目標，逐步向室外未知環(huán)境、未知目標擴展。應(yīng)用環(huán)境的擴展意味著光流算法越來越多的應(yīng)用于實際工程。與此同時，應(yīng)用環(huán)境與目標的未知性都對已有的光流算法提出了新的挑戰(zhàn)，

2、如光照隨機變化、小目標高速運動產(chǎn)生大位移、目標物之間的相互遮擋、光流計算正確性的自評估與自校正等。
　　本論文針對光流計算關(guān)鍵技術(shù)及在三維重建中的應(yīng)用展開研究，著重研究了不同光照條件下光流自適應(yīng)算法、光流計算誤差的自評估與自校驗算法、三維重建中高精度匹配方法與冗余點刪除問題。主要工作如下:
　　(1)由于實際場景中光照變化的必然性與隨機性，光流算法必須能對光照變化自適應(yīng)。以光照模型和相機成像模型為依據(jù)，分析了實際圖像采集過程

3、中影響光照變化的因素，將光照變化分為兩類:一類是由進入CCD(Charge Coupled Device)光輻照度產(chǎn)生突變而引起的光照變化;另一類是由物體與相機相對運動占主導而產(chǎn)生的光照變化。通過兩幀圖像灰度直方圖分布差異確定當前圖像的光照變化類型。如果是第一類光照變化，采用改進的Census變換作為光流模型的數(shù)據(jù)項。與傳統(tǒng)的Census變換相比，改進的Census變換包含了中心像素和鄰域像素完整的灰度相對大小信息，在保持抗光照單調(diào)變化

4、能力的同時，不同的圖像子塊間具有更強的分辨力。如果是第二類光照變化，則以改進的Census變換和紋理特征的加權(quán)和作為光流模型的數(shù)據(jù)項，通過均值場近似理論求解每個像素對應(yīng)的不變量權(quán)值。相比于多個數(shù)據(jù)項分量固定權(quán)重模型，所提出的自適應(yīng)權(quán)重模型與像平面不同區(qū)域亮度變化規(guī)律更吻合。以Middlebury和KITTI數(shù)據(jù)庫中圖像為測試樣本驗證了所提算法的有效性。
　　(2)光流算法應(yīng)用于實際工程時，需要保證輸出結(jié)果具有一定的精度。當前，各大

5、標準數(shù)據(jù)庫對光流算法精度的評估均是通過和真實光流進行對比。然而，在實際工程中，場景和目標的真實光流是未知的。因此，光流計算精度的自評估和自校正是光流算法勝任未知環(huán)境視覺任務(wù)的先決條件。針對此，根據(jù)兩幀圖像中匹配點與光流值等價的原則，提出一種基于離散可信匹配點的光流校正和誤差評估方法。首先，采用圖像分割算法將圖像分割為不同的區(qū)域。接著，在像平面內(nèi)檢測可信匹配點，以此匹配點為種子點，對其鄰域點進行光流誤差評估與校正。所提算法的關(guān)鍵點是確定數(shù)

6、量多、分布廣、精度高的可信匹配點與設(shè)計有效的校正方法。①為得到數(shù)量多、精度高的匹配點，提出了利用兩幀圖像空間幾何關(guān)系的雙閾值SIFT(Scale Invariant Featuretransform)匹配算法。首先，在低閾值下，得到精度高的匹配點，并用這些點計算兩視圖的對極幾何關(guān)系與空間拓撲結(jié)構(gòu)關(guān)系;再以此關(guān)系為約束去除高閾值下精度低的匹配點。②為得到分布廣的匹配點，提出基于HOG特征與空間幾何約束的區(qū)域匹配算法。以第1幀圖像上每個區(qū)域

7、的內(nèi)接四邊形為模板，在第2幀圖像上搜索與之匹配的區(qū)域。為減小搜索范圍，設(shè)計了極線約束和鄰域方向約束。為避免灰度變化平緩區(qū)域匹配誤差大而給校正帶來誤差，設(shè)計了測度灰度變化算子，僅對滿足一定條件的區(qū)域計算對應(yīng)的匹配區(qū)域。③為保證校正的有效性，提出了非運動、遮擋邊界光流平滑過渡判定準則，并對校正后的光流值施加極線約束，進行二次判定。以KITTI數(shù)據(jù)庫圖像為測試樣本，實驗結(jié)果如下:KITTI數(shù)據(jù)庫194組圖像，光流誤差平均降低7.04％，最大可

8、降低31.25％，該結(jié)果證實了所提算法的有效性。
　　(3)將光流算法應(yīng)用于序列圖像場景稠密三維重建。針對三維重建中誤匹配問題，提出一種兩步匹配算法。首先以光流算法計算兩個視圖的初始匹配點，然后用三視圖幾何約束去除誤匹配點。針對多視圖三維重建過程中，隨著重建視圖的增加，三維冗余點不斷增加的現(xiàn)象，利用多視圖幾何關(guān)系自動判斷當前重建的點云在之前的視圖中是否被重建。如果已被重建，則在兩次重建的點云中保留反投影殘差較小的點;如果未被重建，