基于單目攝像機(jī)的增強(qiáng)現(xiàn)實(shí)場景感知技術(shù)研究.pdf

1、增強(qiáng)現(xiàn)實(shí)通過分析場景特征，可以將計算機(jī)生成的幾何信息以視覺融合的方式疊加至真實(shí)環(huán)境中，加強(qiáng)人對世界的認(rèn)知。作為一種全新的人機(jī)交互方式，增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展備受關(guān)注。虛實(shí)融合是增強(qiáng)現(xiàn)實(shí)的核心問題，其關(guān)鍵在于:如何利用2D視覺信息恢復(fù)真實(shí)的3D場景，如何估算視覺傳感器在空間的位置和姿態(tài)，如何對場景中出現(xiàn)的物體進(jìn)行感知和處理。盡管計算機(jī)視覺已經(jīng)取得長足進(jìn)步，但在實(shí)際應(yīng)用中仍然面臨著移動攝像機(jī)的姿態(tài)在三維場景中求解困難、應(yīng)用場景中一直存在的噪聲干

2、擾及遮擋、復(fù)雜背景中的物體識別和姿態(tài)求解困難等不利因素。因此設(shè)計穩(wěn)定可靠、高效的場景構(gòu)建和場景識別算法在當(dāng)前仍然是一項很有挑戰(zhàn)性的工作。
　　基于上述研究背景，本文將以構(gòu)建增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)為目標(biāo)，研究如何從單目攝像機(jī)拍攝的視頻序列中恢復(fù)出場景三維幾何和攝像機(jī)運(yùn)動信息，獲取場景中物體的姿態(tài)并應(yīng)用于裝配指導(dǎo)系統(tǒng)中。本文希望能有效解決在移動增強(qiáng)現(xiàn)實(shí)環(huán)境中，虛實(shí)融合面臨的配準(zhǔn)準(zhǔn)確性、實(shí)時性和魯棒性等問題，促進(jìn)場景感知在增強(qiáng)現(xiàn)實(shí)中的發(fā)展。本

3、文主要工作總結(jié)如下:
　　針對三維重構(gòu)效率低，后期識別和感知困難的問題，提出了一個基于視頻序列的場景重構(gòu)算法，從圖像序列中恢復(fù)場景的3D稀疏表面結(jié)構(gòu)。算法采用局部集束優(yōu)化方法，不僅可以提高運(yùn)算效率，還保證了重構(gòu)結(jié)果的精確度和魯棒性。針對視覺重建噪聲多的特點(diǎn)，本文用統(tǒng)計離群值濾波法對場景的重構(gòu)點(diǎn)云進(jìn)行濾波，可以在不需要增加很多計算代價的條件下有效地過濾大量噪聲，在減少空間點(diǎn)數(shù)量的同時還能夠保持和增強(qiáng)點(diǎn)云的表面特征。
　　為了獲

4、取虛實(shí)融合的正確呈現(xiàn)效果，需要計算移動攝像機(jī)在空間的位姿，為此提出了一個高效的基于稀疏光流的攝像機(jī)跟蹤算法。特別針對移動攝像機(jī)的姿態(tài)在立體場景中求解不穩(wěn)定、效率低等問題，提出了一種基于關(guān)鍵幀簇的跟蹤方法，由稀疏光流對相鄰關(guān)鍵幀的對應(yīng)特征點(diǎn)的位置進(jìn)行預(yù)測和跟蹤，建立關(guān)鍵幀之間對應(yīng)特征點(diǎn)的匹配約束關(guān)系，利用與這些特征點(diǎn)對應(yīng)的3D點(diǎn)位置，對攝像機(jī)位姿進(jìn)行定位及更新，從而提高攝像機(jī)姿態(tài)的求解效率和精度，有效避免配準(zhǔn)漂移問題。
　　為了識別

5、與理解裝配環(huán)境中出現(xiàn)的真實(shí)物體對象，提出了一種基于配準(zhǔn)的3D感知方法。通過驅(qū)動虛擬模型點(diǎn)云，使之與真實(shí)場景的點(diǎn)云匹配，利用點(diǎn)云的相似度對場景中出現(xiàn)的真實(shí)物體進(jìn)行感知。為了降低場景點(diǎn)云中噪聲對配準(zhǔn)結(jié)果的影響，提出一個基于密度自適應(yīng)的匹配算法，自適應(yīng)調(diào)整不同來源的點(diǎn)云密度，再提取共面四點(diǎn)描述特征對場景點(diǎn)云和模型點(diǎn)云進(jìn)行相似度匹配，利用共面四點(diǎn)特征的仿射不變性實(shí)現(xiàn)對真實(shí)物體的識別。該方法可以減少點(diǎn)云的數(shù)據(jù)量，降低運(yùn)算復(fù)雜度，還能提高匹配精確度

6、。實(shí)驗(yàn)結(jié)果表明，這種方法能準(zhǔn)確在裝配環(huán)境點(diǎn)云中識別出零部件并能計算出它們的姿態(tài)，可用于噪聲條件下增強(qiáng)現(xiàn)實(shí)交互應(yīng)用。
　　構(gòu)建了一個基于單目攝像機(jī)的增強(qiáng)現(xiàn)實(shí)裝配實(shí)驗(yàn)平臺。該平臺以交互操作任務(wù)為目標(biāo)，可以在裝配過程中向操作者提供所需的文字、二維圖像以及三維模型，幫助用戶理解裝配任務(wù)，獲得裝配經(jīng)驗(yàn);還可以根據(jù)裝配內(nèi)容生成裝配序列和工藝規(guī)劃文件。平臺綜合運(yùn)用了場景重構(gòu)、攝像機(jī)跟蹤以及三維感知方法。實(shí)驗(yàn)驗(yàn)證了本文算法的實(shí)時性、魯棒性以及精確