面向增強現(xiàn)實的實時三維跟蹤.pdf

1、隨著計算機運算能力的不斷增強，計算機視覺研究得到了持續(xù)的發(fā)展，在監(jiān)控、檢索、識別、導航、醫(yī)療、教育等領域的應用為人的視覺提供有效的補充，甚至在某些方面很好地替代了人的視覺。虛實混合作為計算機視覺的重要應用之一，是通過特殊的設備，將計算機產(chǎn)生的虛擬信息與現(xiàn)實環(huán)境無縫融合，給人們提供額外的信息，如說明文字、視頻教程、三維動畫等。本文涉及的增強現(xiàn)實是虛實混合技術的一種，利用相關計算機視覺技術分析現(xiàn)實場景中的物體和環(huán)境特征，并在指定的位置繪制計

2、算機生成的附屬信息，幫助人們更好地理解場景。一般的增強現(xiàn)實系統(tǒng)，包括視頻輸入、特征分析、攝像機定位、虛實融合等模塊，其中特征分析和攝像機定位是最核心的模塊。離線增強現(xiàn)實已經(jīng)在電影工業(yè)，視頻廣告中得到廣泛應用，然而實時增強現(xiàn)實更多地處在實驗階段。本文主要研究實時增強現(xiàn)實的三維跟蹤技術，即實時地恢復攝像機與場景之間的相對空間方位。內(nèi)容包括多線程技術框架設計、圖像特征分析、大規(guī)模場景的關鍵幀表達、和純旋轉(zhuǎn)相機下的雙層分割方法?？傮w來說，本文希

3、望能促進實時三維跟蹤技術在增強現(xiàn)實中的應用，主要貢獻在以下幾個方面。
　　 ⑴提出統(tǒng)一的實時增強現(xiàn)實系統(tǒng)框架。在關鍵技術充分模塊化，模塊接口標準化的基礎上，將各種現(xiàn)實環(huán)境下的增強現(xiàn)實統(tǒng)一在一個多線程并行框架里，用戶可以便捷地在此基礎上開發(fā)新的增強現(xiàn)實應用，而且這個框架充分利用了多核機器的計算能力，使系統(tǒng)在適應各種復雜環(huán)境的情況下保證高效可靠的性能。
　　 ⑵提出改進的基準標志系統(tǒng)。在一些桌面增強現(xiàn)實應用中，系統(tǒng)不能從自然

4、場景中提取足夠的特征定位攝像機，必須輔以基準標志。本文提出的基準標志是包圍在黑色方框中的漢字圖像。為了在復雜的光影下也能穩(wěn)定地檢測出標志，系統(tǒng)利用邊緣信息檢測標志的包圍框。同時，本文將漢字的結構表達為漢字輪廓到邊框的距離場，增加了漢字標志的可識別度。另一方面，傳統(tǒng)的基準標志一般是黑白圖案，從視覺上看很不美觀，本文于是利用自然圖像作為基準標志的補充。
　　 ⑶提出基于關鍵幀的場景表達和快速選擇候選關鍵幀方法。在大規(guī)模自然場景中，系

5、統(tǒng)利用Structure-from-Motion技術從預處理視頻序列中恢復場景的稀疏三維點云。由于大規(guī)模場景的特征過于豐富，特征匹配在時間和數(shù)量上的性能都會明顯下降。本文通過貪婪優(yōu)化方法，從輸入預處理視頻序列中自動選擇一些關鍵幀，這些關鍵幀將包含比較穩(wěn)定的，特征明顯的三維特征點。三維跟蹤通過圖像識別算法，為輸入圖像選擇相似的候選關鍵幀，然后只跟候選關鍵幀進行特征匹配。為了獲得更穩(wěn)定的跟蹤結果，本文還利用極線約束，連續(xù)幀跟蹤等方法匹配更多

6、特征點。
　　 ⑷提出攝像機純旋轉(zhuǎn)運動下，快速穩(wěn)定地分離前景背景物體的方法。由于場景和攝像機運動的雙重復雜性，場景層次分割是處理增強現(xiàn)實中的虛實遮擋的重要方法，同時也是非常難解決的問題。本文嘗試解決在攝像機只有旋轉(zhuǎn)運動情況下前背景之間的遮擋，這事實上是一個前背景分割問題。系統(tǒng)首先建立背景的全景圖，然后將實時輸入圖像與背景全景圖配準，估計背景信息，并利用圖割算法進行分割。針對復雜背景和背景配準誤差，本文結合過分割方法對背景全景圖建