深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)【開題報(bào)告+文獻(xiàn)綜述+畢業(yè)設(shè)計(jì)】

1、1畢業(yè)設(shè)計(jì)開題報(bào)告畢業(yè)設(shè)計(jì)開題報(bào)告電子信息科學(xué)與技術(shù)電子信息科學(xué)與技術(shù)深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)一、選題的背景與意義一、選題的背景與意義隨著寬帶網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和多媒體技術(shù)的不斷進(jìn)步，人們對多媒體應(yīng)用的期盼也越來越高，傳統(tǒng)的二維視頻已無法滿足人們?nèi)找嬖鲩L的觀看需求。自由視點(diǎn)視頻(FVVFreeViewpointVideo)系統(tǒng)是當(dāng)前先進(jìn)視覺媒體模式。FVV系統(tǒng)能讓人們通過自由選擇視點(diǎn)欣賞場景體驗(yàn)到身臨

2、其境的感覺。因而，這種媒體模式在教育培訓(xùn)、娛樂、交通、銀行、醫(yī)療和文化遺產(chǎn)保護(hù)等領(lǐng)域具有非常廣闊的應(yīng)用前景和巨大的市場價(jià)值。通常情況下，一個(gè)自由視點(diǎn)視頻系統(tǒng)從邏輯結(jié)構(gòu)上分為服務(wù)器端和用戶端兩個(gè)部分。在服務(wù)器端，利用多個(gè)相機(jī)對同一場景進(jìn)行采集而得到多路視頻信號，并且完成多視點(diǎn)視頻的壓縮編碼。多視點(diǎn)視頻編碼（MultiviewVideocodingMVC）是新一代多媒體的技術(shù)核心之一，也是現(xiàn)階段多媒體領(lǐng)域的研究熱點(diǎn)之一。壓縮后的多視點(diǎn)視頻碼

3、流通過網(wǎng)絡(luò)傳送到用戶端用于自由視頻的顯示。目前，兩大國際標(biāo)準(zhǔn)化組織ISO的MPEG和ITU的VCEG組成的聯(lián)合視頻專家組(JVTJointVideoTeam)制定的FVV標(biāo)準(zhǔn)草案里采用多視點(diǎn)彩色視頻和深度視頻(MVDMultiviewVideoplusDepth)來表示3D場景和實(shí)現(xiàn)FVV系統(tǒng)?；贛VD的FVV系統(tǒng)可以采用基于深度的繪制技術(shù)把有限個(gè)實(shí)際視點(diǎn)視頻擴(kuò)展到無限個(gè)虛擬視點(diǎn)，實(shí)現(xiàn)視點(diǎn)間的平滑過渡。在基于MVD的FVV系統(tǒng)中，由于

4、深度多視點(diǎn)數(shù)據(jù)的數(shù)據(jù)量和相機(jī)的數(shù)量正比。與單通道視頻信號相比，MVD有著非常大的數(shù)據(jù)量。因而，多視點(diǎn)視頻的壓縮編碼是一項(xiàng)關(guān)鍵技術(shù)，直接影響到FVV信號能否進(jìn)入到實(shí)際應(yīng)用領(lǐng)域。在基于MVD的FVV系統(tǒng)中，深度視頻信號一般由服務(wù)器端傳送給用戶端，進(jìn)而降低用戶端的接受設(shè)備的生產(chǎn)成本。因?yàn)?，用戶端的設(shè)備一般不具備很強(qiáng)的計(jì)算能力，深度不適合在用戶端通過深度估計(jì)產(chǎn)生。即深度視頻需要在服務(wù)端采集得到。深度信息可以通過深度相機(jī)采集或者通過深度估計(jì)程序來

5、獲得。由于深度相機(jī)價(jià)格昂貴，目前深度視頻序列一般是通過深度估計(jì)而得到。在MVD信號中，從理論上講，深度視頻只需要普通彩色視頻的10%－20%的碼流就可以獲得較高的圖像質(zhì)量。3度視頻的編碼效率，需要對深度視頻在編碼之前進(jìn)行預(yù)處理，增強(qiáng)在其時(shí)間上的一致性。視頻主要是由圖像形成的，圖像預(yù)處理的主要目的是消除圖像中無關(guān)的信息，恢復(fù)有用的真實(shí)信息，增強(qiáng)有關(guān)信息的可檢測性和最大限度地簡化數(shù)據(jù)，從而改進(jìn)特征抽取、圖像分割、匹配和識別的可靠性。預(yù)處理過

6、程一般有數(shù)字化、幾何變換、歸一化、平滑、復(fù)原和增強(qiáng)等步驟，此課題我采用時(shí)間平滑處理的預(yù)處理方法來解決存在的時(shí)間相關(guān)性問題。2.1.42.1.4多視點(diǎn)視頻編碼及編碼的實(shí)現(xiàn)多視點(diǎn)視頻編碼及編碼的實(shí)現(xiàn)H.264AVC是目前算法復(fù)雜度最高編碼效率最高的基于混合編碼框架的視頻編碼標(biāo)準(zhǔn)被稱為新一代視頻壓縮編碼標(biāo)準(zhǔn)已經(jīng)引起越來越多的關(guān)注。它集中了許多視頻編碼技術(shù)的最新研究成果能夠顯著提高編碼效率且具有網(wǎng)絡(luò)友好性可有效用于各種網(wǎng)絡(luò)和應(yīng)用環(huán)境尤其在低碼率

7、視頻編碼方面性能比MPEG4視頻編碼標(biāo)準(zhǔn)有顯著提高。采用H.264編碼標(biāo)準(zhǔn)對處理完的深度視頻在JMVM平臺上進(jìn)行編碼實(shí)驗(yàn)，比較碼流和虛擬視點(diǎn)繪制的質(zhì)量，通過比較衡量所設(shè)計(jì)的深度平滑處理方法進(jìn)行評測。2.22.2擬解決的主要問題擬解決的主要問題[1]分析多視點(diǎn)深度視頻的特性；[2]對深度視頻進(jìn)行幀內(nèi)的時(shí)間平滑處理的算法的研究；[3]研究深度視頻預(yù)處理的算法；三、研究的方法與技術(shù)路線三、研究的方法與技術(shù)路線3.13.1深度視頻在時(shí)間軸上進(jìn)行

8、平滑處理深度視頻在時(shí)間軸上進(jìn)行平滑處理圖像平滑的目的是為了消除噪聲，主要處理方式有鄰域平均法即通過提高信噪比，取得較好的平滑效果；空間域低通濾波采用低通濾波的方法去除噪聲；以及頻域低通濾波法通過除去其高頻分量就能去掉噪聲，從而使圖像得到平滑。3.1.13.1.1空間域平滑處理空間域平滑處理（一）鄰域平均法鄰域平均法是簡單的空域處理方法。這種方法的基本思想是用幾個(gè)像素灰度的平均值來代替每個(gè)像素的灰度。鄰域平均法的空域思想使得算法的思想簡單