基于智能視頻的虛擬現(xiàn)實(shí)體驗(yàn)系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展和顯示技術(shù)的不斷成熟，運(yùn)用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行沉浸式體驗(yàn)仿真虛擬環(huán)境的應(yīng)用已經(jīng)不僅僅局限在軍事、醫(yī)學(xué)和電影制作等專業(yè)領(lǐng)域，而是越來(lái)越多的出現(xiàn)在大眾消費(fèi)者面前，應(yīng)用到人們的生活之中。而虛擬現(xiàn)實(shí)中的人機(jī)交互方式和虛擬場(chǎng)景的呈現(xiàn)效果是虛擬現(xiàn)實(shí)體驗(yàn)中最重要的兩個(gè)方面，如何為虛擬現(xiàn)實(shí)應(yīng)用提供良好的人機(jī)交互方式和如何提高虛擬現(xiàn)實(shí)場(chǎng)景的最終呈現(xiàn)效果也成為重要的研究方向。
　　本論文以虛擬家居體驗(yàn)體驗(yàn)系統(tǒng)為應(yīng)用背景，分析在虛

2、擬現(xiàn)實(shí)環(huán)境下對(duì)于虛擬現(xiàn)實(shí)體驗(yàn)系統(tǒng)的功能和性能需求，提出了使用Kinect作為視頻采集設(shè)備通過(guò)深度信息提取用戶體感操作動(dòng)作實(shí)現(xiàn)體感控制的虛擬現(xiàn)實(shí)人機(jī)交互方案，使用Unity3D游戲引擎構(gòu)建虛擬現(xiàn)實(shí)場(chǎng)景并通過(guò)定義著色器改善場(chǎng)景渲染效果，同時(shí)配合Oculus Rift DK2完成沉浸式立體化場(chǎng)景呈現(xiàn)。
　　在人機(jī)交互模塊，本論文利用智能視頻的方法使用微軟的Kinect配合開(kāi)放自然交互框架Kinect for Microsoft SDK獲

3、取深度信息通過(guò)提取控制者虛擬人體關(guān)節(jié)節(jié)點(diǎn)的位置來(lái)獲取用戶的身體動(dòng)作。為了提高體感操作的動(dòng)作識(shí)別準(zhǔn)確度，本論文對(duì)比了三種不同的動(dòng)作識(shí)別算法，最終選中基于關(guān)節(jié)點(diǎn)角度測(cè)量的動(dòng)作識(shí)別算法。并針對(duì)在關(guān)節(jié)點(diǎn)角度測(cè)量中由于關(guān)節(jié)點(diǎn)空間位置不穩(wěn)定造成測(cè)量誤差增大的缺陷進(jìn)行了改進(jìn)，以降低角度測(cè)量誤差從而提高動(dòng)作識(shí)別準(zhǔn)確度。
　　為了提高人體關(guān)節(jié)節(jié)點(diǎn)檢測(cè)準(zhǔn)確度，本論文在動(dòng)作識(shí)別開(kāi)始之前引入初始化過(guò)程，讀取操作者的關(guān)節(jié)點(diǎn)間距作為標(biāo)準(zhǔn)值，并結(jié)合人體關(guān)節(jié)活動(dòng)

4、特性對(duì)動(dòng)作識(shí)別過(guò)程中關(guān)節(jié)點(diǎn)測(cè)量結(jié)果進(jìn)行可靠性檢測(cè)，設(shè)置節(jié)點(diǎn)可靠度。同時(shí)在關(guān)節(jié)點(diǎn)檢測(cè)過(guò)程中引入卡爾曼濾波算法來(lái)降低噪聲和干擾的影響，并根據(jù)當(dāng)前幀該關(guān)節(jié)點(diǎn)的可靠度動(dòng)態(tài)設(shè)置卡爾曼濾波中預(yù)測(cè)值和觀測(cè)值的權(quán)重。
　　在場(chǎng)景渲染方面，為了改善虛擬場(chǎng)景渲染的效果增加體驗(yàn)真實(shí)感，本論文通過(guò)自定義著色器控制渲染過(guò)程，模擬現(xiàn)實(shí)世界中在鏡面反射和物體表面凹凸漫反射的光學(xué)過(guò)程實(shí)現(xiàn)了針對(duì)鏡面和凹凸表面的著色器，大大提高鏡面反射和凹凸漫反射的顯示效果。同時(shí)在