嵌入式自由視點(diǎn)視頻系統(tǒng)的關(guān)鍵技術(shù)研究.pdf

1、本文提出了一種FPGA+DSP的嵌入式自由視點(diǎn)視頻的系統(tǒng)解決方案，實(shí)現(xiàn)了從雙路視頻采集到多視點(diǎn)自由視點(diǎn)立體視頻生成，為多視點(diǎn)裸眼顯示器提供實(shí)時(shí)視頻輸入。實(shí)現(xiàn)的有立體視頻的采集與顯示，立體匹配，自由視點(diǎn)生成等模塊。
　　本文針對(duì)該方案中采集與顯示、立體匹配、虛擬視點(diǎn)生成三個(gè)關(guān)鍵技術(shù)展開了研究：首先是基于FPGA的雙目立體視頻的采集與顯示，可以直接應(yīng)用于分時(shí)/分色立體顯示中，測(cè)試自由視點(diǎn)視頻的效果；然后是FPGA中實(shí)現(xiàn)立體匹配算法，通

2、過(guò)該算法可以從上一步驟中獲取到的立體圖像對(duì)生成視差圖；最后是在DSP中根據(jù)視差圖和立體圖像對(duì)生成虛擬視點(diǎn)。
　　第三章實(shí)現(xiàn)了基于FPGA的實(shí)時(shí)立體視頻采集與多模式立體顯示的設(shè)計(jì)。該系統(tǒng)的采集模塊使用自制CMOS雙目攝像頭子卡，同時(shí)采集兩路1280×1024分辨率的圖像。該方案不僅包含了分時(shí)立體和分色立體兩種主流的立體顯示模式，并包含了兩者之間的切換。分色方案中配合紅藍(lán)眼鏡，可以享受實(shí)時(shí)的立體視頻，這種方式下紅藍(lán)色差比較大，通過(guò)Y校

3、正，對(duì)色彩進(jìn)行了適當(dāng)?shù)恼{(diào)整。分時(shí)方案中佩戴的眼鏡是主動(dòng)快門立體眼鏡，眼鏡的開關(guān)由同步發(fā)射器同步視頻的幀信號(hào)，刷新頻率受到顯示器的限制，最高達(dá)到74Hz，色彩失真低，立體感強(qiáng)烈。
　　第四章基于FPGA實(shí)現(xiàn)了Census立體匹配算法。該算法流程包括Census變換模塊、Hamming距離計(jì)算模塊、相關(guān)求和模塊和比較輸出模塊。Census變換模塊中使用7×7的變換窗口，將每個(gè)像素變換為一個(gè)48位的Census矢量。最終，生成一幅由像素

4、與鄰近像素關(guān)系信息組成的圖像。為實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理，使用行緩存存儲(chǔ)像素灰度值，輸入的像素通過(guò)行緩存器移位得到延時(shí)的行像素。而窗口的設(shè)計(jì)是為了能夠加速圖像處理速度。
　　第五章實(shí)現(xiàn)了基于DM6446的自由視點(diǎn)生成算法。用于預(yù)測(cè)處于兩幅立體圖像對(duì)中間位置的視圖——虛擬視圖。在自由視點(diǎn)立體顯示系統(tǒng)中，需要多臺(tái)攝像機(jī)同時(shí)采集場(chǎng)景畫面，這時(shí)就需要有一定采集能力的攝像機(jī)陣列。這種系統(tǒng)對(duì)硬件要求高，獲取到的數(shù)據(jù)量龐大，傳輸也是應(yīng)用到實(shí)際中時(shí)碰到