半虛擬現(xiàn)實(shí)座艙手部定位技術(shù)研究.pdf

1、輕型飛行模擬器半虛擬現(xiàn)實(shí)座艙是訓(xùn)練飛行員、考察飛行器性能的重要設(shè)備。半虛擬現(xiàn)實(shí)座艙與傳統(tǒng)的飛行模擬器相比，體積小，價(jià)格低，具有廣闊的應(yīng)用前景。本文以提高輕型飛行模擬器半虛擬現(xiàn)實(shí)座艙的性能為主要目標(biāo)，應(yīng)用圖像采集與處理等方法，對(duì)半虛擬現(xiàn)實(shí)人手交互操作中的人手定位進(jìn)行了研究。主要解決佩戴頭盔顯示器之后，如何定位進(jìn)行操作的訓(xùn)練員的手部位置這一問(wèn)題。論文的主要研究?jī)?nèi)容包括：
　　 (1)半虛擬現(xiàn)實(shí)座艙交互方式的特點(diǎn)以及實(shí)現(xiàn)方法。半虛擬現(xiàn)

2、實(shí)座艙的視景顯示系統(tǒng)與傳統(tǒng)的模擬器不同，半虛擬現(xiàn)實(shí)座艙采用頭盔式顯示器，虛擬現(xiàn)實(shí)的艙外視景與艙內(nèi)視景都顯示在頭盔顯示器上。但佩戴頭盔顯示器以后，訓(xùn)練員無(wú)法看到執(zhí)行操作的手部位置，因此給虛擬現(xiàn)實(shí)交互帶來(lái)了困難。根據(jù)半虛擬現(xiàn)實(shí)的構(gòu)成特點(diǎn)，本文設(shè)計(jì)了基于視頻的手部定位與跟蹤方法。對(duì)虛擬場(chǎng)景以及手部仍采用傳統(tǒng)的幾何建模方法生成。為實(shí)現(xiàn)交互，采用攝像機(jī)采集以及基于圖像的手部跟蹤定位方法，實(shí)現(xiàn)人手在虛擬場(chǎng)景以及實(shí)際場(chǎng)景位置一致的功能。
　　

3、 (2)顏色空間以及顏色標(biāo)記穩(wěn)定性研究。在圖像處理技術(shù)中顏色信息是有效的圖像特征。攝像機(jī)采集到的彩色圖像是由顏色分量合成的。因此無(wú)論是對(duì)顏色標(biāo)記點(diǎn)還是對(duì)人手進(jìn)行顏色提取，都需要經(jīng)過(guò)顏色特征的判斷來(lái)實(shí)現(xiàn)。而由于環(huán)境中光的強(qiáng)度以及光的方向會(huì)存在變化，因此在不同顏色空間中，不同的顏色特征受到的環(huán)境光的影響不盡相同。為提高顏色特征的穩(wěn)定性，本文對(duì)各個(gè)顏色空間中的多種顏色點(diǎn)特征進(jìn)行實(shí)驗(yàn)，找出穩(wěn)定的顏色特征，以及對(duì)手部顏色特征來(lái)說(shuō)最穩(wěn)定的顏色空間。

4、
　　 (3)基于標(biāo)記的雙目視覺(jué)手部定位技術(shù)研究?；跇?biāo)記的雙目視覺(jué)手部定位是簡(jiǎn)單有效的三維定位技術(shù)。通過(guò)在手部附加三種不同的顏色標(biāo)記點(diǎn)，同時(shí)跟蹤三種顏色來(lái)定位三點(diǎn)在三維空間中的坐標(biāo)。對(duì)顏色標(biāo)記的跟蹤本文采用區(qū)域增長(zhǎng)法來(lái)實(shí)現(xiàn)，由于傳統(tǒng)區(qū)域增長(zhǎng)法迭代次數(shù)多，速度慢，本文采用圖像動(dòng)態(tài)分塊的方法來(lái)減少迭代次數(shù)。同時(shí)通過(guò)實(shí)驗(yàn)測(cè)試選取區(qū)塊大小以及區(qū)塊質(zhì)心參數(shù)，使得顏色標(biāo)記的質(zhì)心點(diǎn)計(jì)算的實(shí)時(shí)性與抗干擾性得到了提高。為進(jìn)一步提高抗噪聲干擾能力

5、，提出一種十字型顏色標(biāo)記，并應(yīng)用Hough變換的直線(xiàn)檢測(cè)方法來(lái)求取相交點(diǎn)在圖像中的坐標(biāo)，實(shí)驗(yàn)結(jié)果證實(shí)了該方法獲得的質(zhì)心點(diǎn)坐標(biāo)具有很高的穩(wěn)定性。
　　 (4)基于攝像機(jī)陣列的裸手大運(yùn)動(dòng)范圍跟蹤技術(shù)研究。人手的大運(yùn)動(dòng)范圍跟蹤是半虛擬現(xiàn)實(shí)座艙環(huán)境中需要解決的問(wèn)題之一。由于手部是柔性體，對(duì)手部整體而言，不同的手型整體特征變化很大。因此本文采用手部分割的方法。對(duì)手部圖像進(jìn)行分析處理，將手指從手部的整體中分割出去。僅保留手掌特征。由于手掌在

6、手部運(yùn)動(dòng)以及手勢(shì)變化過(guò)程中變化較小，因此以手掌質(zhì)心為手部特征進(jìn)行跟蹤定位。為了解決手部在分割過(guò)程中易受到各種因素干擾的問(wèn)題，本文采用攝像機(jī)陣列作為圖像采集設(shè)備，在攝像機(jī)陣列中對(duì)攝像機(jī)進(jìn)行分類(lèi)。排除受到干擾的攝像機(jī)之后，對(duì)手掌進(jìn)行跟蹤。本文綜合攝像機(jī)陣列檢測(cè)到的圖像信息，應(yīng)用離群點(diǎn)檢測(cè)等統(tǒng)計(jì)方法，應(yīng)用未經(jīng)標(biāo)定的攝像機(jī)陣列可以得到與標(biāo)定后的雙目視覺(jué)系統(tǒng)精度相當(dāng)?shù)亩ㄎ幌到y(tǒng)，同時(shí)系統(tǒng)檢測(cè)范圍以及系統(tǒng)的魯棒性均有很大程度的提高。
　　 (

7、5)基于動(dòng)態(tài)光場(chǎng)的裸手圖像合成技術(shù)研究。半虛擬現(xiàn)實(shí)座艙中手部的手勢(shì)識(shí)別是手部跟蹤的后續(xù)工作。而手勢(shì)識(shí)別中會(huì)遇到兩大問(wèn)題，首先，在半虛擬現(xiàn)實(shí)座艙手部跟蹤的過(guò)程中，座艙環(huán)境中的物體對(duì)手部存在著遮擋。手部受到遮擋之后，對(duì)手部特征的提取會(huì)不準(zhǔn)確或失效。其次由于攝像機(jī)采集視角的原因，手部在操作按鈕的過(guò)程中會(huì)存在旋轉(zhuǎn)等動(dòng)作，在手部旋轉(zhuǎn)之后會(huì)出現(xiàn)自遮擋的問(wèn)題。針對(duì)這兩大問(wèn)題，本文提出基于光場(chǎng)的去遮擋圖像處理方法。綜合應(yīng)用攝像機(jī)陣列采集到的圖像信息，以