嵌入式雙目視覺(jué)系統(tǒng)和三維重建技術(shù)研究.pdf

1、雙目立體視覺(jué)技術(shù)是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)和主要內(nèi)容，它模擬人眼視覺(jué)系統(tǒng)，依據(jù)計(jì)算機(jī)視覺(jué)相關(guān)的理論和技術(shù)，利用雙目攝像頭采集同一場(chǎng)景不同位置的左右路圖像，對(duì)場(chǎng)景進(jìn)行三維重建。目前廣泛應(yīng)用于場(chǎng)景重現(xiàn)、機(jī)器人導(dǎo)航、物體識(shí)別、精密工業(yè)測(cè)量、虛擬現(xiàn)實(shí)等各個(gè)領(lǐng)域。
　　雙目立體視覺(jué)的關(guān)鍵技術(shù)包括左右圖像對(duì)的獲取、攝像機(jī)標(biāo)定、圖像校正、立體匹配和三維重建等幾個(gè)部分。目前大多數(shù)視覺(jué)平臺(tái)僅負(fù)責(zé)采集圖像對(duì)，需要在上位機(jī)軟件上完成立體匹配算法。針對(duì)這

2、一問(wèn)題，本課題設(shè)計(jì)一套嵌入式實(shí)驗(yàn)系統(tǒng)平臺(tái)，利用FPGA芯片完成圖像采集和Census立體匹配算法，同時(shí)提出融合自適應(yīng)權(quán)重和置信傳播的立體匹配算法，在計(jì)算機(jī)上進(jìn)行仿真驗(yàn)證其可行性和準(zhǔn)確性，并根據(jù)匹配結(jié)果進(jìn)行三維點(diǎn)云重建。本文的工作內(nèi)容如下：
　　(1)基于FPGA的雙目視覺(jué)采集與顯示系統(tǒng)平臺(tái)，采用CycloneⅡ系列FPGA作為主處理芯片，外擴(kuò)自制的雙目視頻輸入子卡和USB傳輸子卡，對(duì)從CMOS攝像頭輸入的兩路視頻信號(hào)進(jìn)行采集、幀存

3、和切換控制，通過(guò)VGA接口完成左右視圖在顯示器上交替顯示，實(shí)現(xiàn)分時(shí)立體顯示技術(shù)，同時(shí)實(shí)現(xiàn)左右路圖像數(shù)據(jù)通過(guò)的USB傳輸?shù)缴衔粰C(jī)軟件中。
　　(2)在攝像機(jī)標(biāo)定方面，使用matlab標(biāo)定工具箱，分別對(duì)兩路攝像頭進(jìn)行標(biāo)定，獲取到攝像頭的內(nèi)外部參數(shù)，并進(jìn)行圖像的外極線校正，將立體匹配算法搜索從二維降到一維。
　　(3)為了提高傳統(tǒng)置信傳播立體匹配算法在深度不連續(xù)區(qū)域的準(zhǔn)確率問(wèn)題，提出一種融合局部自適應(yīng)權(quán)重和置信傳播的立體匹配算法，

4、首先采用改進(jìn)的局部自適應(yīng)權(quán)重算法，獲得初始視差估計(jì)，通過(guò)左右一致性檢測(cè)出不可信像素點(diǎn)；然后，對(duì)分割后的圖像采用新的消息傳播策略，進(jìn)行消息的不對(duì)稱傳遞；最后校正不可信像素點(diǎn)的視差值。該算法對(duì)深度不連續(xù)和弱紋理區(qū)域均有較好的匹配結(jié)果，能獲得比較理想的稠密視差圖。同時(shí)為了能高速實(shí)時(shí)獲取到視差結(jié)果，針對(duì)本實(shí)驗(yàn)系統(tǒng)在FPGA上實(shí)現(xiàn)Census立體匹配算法，在性能效果、資源使用和實(shí)時(shí)速度方面比同類硬件實(shí)現(xiàn)方法都有很大的提高。
　　(4)根據(jù)雙