嵌入式雙目視覺系統(tǒng)和三維重建技術(shù)研究.pdf

1、雙目立體視覺技術(shù)是計算機(jī)視覺領(lǐng)域的研究熱點和主要內(nèi)容，它模擬人眼視覺系統(tǒng)，依據(jù)計算機(jī)視覺相關(guān)的理論和技術(shù)，利用雙目攝像頭采集同一場景不同位置的左右路圖像，對場景進(jìn)行三維重建。目前廣泛應(yīng)用于場景重現(xiàn)、機(jī)器人導(dǎo)航、物體識別、精密工業(yè)測量、虛擬現(xiàn)實等各個領(lǐng)域。
　　雙目立體視覺的關(guān)鍵技術(shù)包括左右圖像對的獲取、攝像機(jī)標(biāo)定、圖像校正、立體匹配和三維重建等幾個部分。目前大多數(shù)視覺平臺僅負(fù)責(zé)采集圖像對，需要在上位機(jī)軟件上完成立體匹配算法。針對這

2、一問題，本課題設(shè)計一套嵌入式實驗系統(tǒng)平臺，利用FPGA芯片完成圖像采集和Census立體匹配算法，同時提出融合自適應(yīng)權(quán)重和置信傳播的立體匹配算法，在計算機(jī)上進(jìn)行仿真驗證其可行性和準(zhǔn)確性，并根據(jù)匹配結(jié)果進(jìn)行三維點云重建。本文的工作內(nèi)容如下：
　　(1)基于FPGA的雙目視覺采集與顯示系統(tǒng)平臺，采用CycloneⅡ系列FPGA作為主處理芯片，外擴(kuò)自制的雙目視頻輸入子卡和USB傳輸子卡，對從CMOS攝像頭輸入的兩路視頻信號進(jìn)行采集、幀存

3、和切換控制，通過VGA接口完成左右視圖在顯示器上交替顯示，實現(xiàn)分時立體顯示技術(shù)，同時實現(xiàn)左右路圖像數(shù)據(jù)通過的USB傳輸?shù)缴衔粰C(jī)軟件中。
　　(2)在攝像機(jī)標(biāo)定方面，使用matlab標(biāo)定工具箱，分別對兩路攝像頭進(jìn)行標(biāo)定，獲取到攝像頭的內(nèi)外部參數(shù)，并進(jìn)行圖像的外極線校正，將立體匹配算法搜索從二維降到一維。
　　(3)為了提高傳統(tǒng)置信傳播立體匹配算法在深度不連續(xù)區(qū)域的準(zhǔn)確率問題，提出一種融合局部自適應(yīng)權(quán)重和置信傳播的立體匹配算法，

4、首先采用改進(jìn)的局部自適應(yīng)權(quán)重算法，獲得初始視差估計，通過左右一致性檢測出不可信像素點；然后，對分割后的圖像采用新的消息傳播策略，進(jìn)行消息的不對稱傳遞；最后校正不可信像素點的視差值。該算法對深度不連續(xù)和弱紋理區(qū)域均有較好的匹配結(jié)果，能獲得比較理想的稠密視差圖。同時為了能高速實時獲取到視差結(jié)果，針對本實驗系統(tǒng)在FPGA上實現(xiàn)Census立體匹配算法，在性能效果、資源使用和實時速度方面比同類硬件實現(xiàn)方法都有很大的提高。
　　(4)根據(jù)雙