多視點視頻編解碼和虛擬視點合成技術(shù)的研究.pdf

1、多視點視頻是當(dāng)前多媒體領(lǐng)域的研究熱點，它是一種具有立體感和交互功能的視頻序列，用戶在觀看時可以任意改變視點或者視角，以實現(xiàn)對同一場景進行多方位體驗。本論文面向多視點視頻的交互式應(yīng)用，對影響視點交互時延的編解碼技術(shù)以及虛擬視點合成技術(shù)進行了研究。
　　 論文首先對多視點視頻的時間相關(guān)性和視點間相關(guān)性進行測試統(tǒng)計，結(jié)果表明：對于大多數(shù)視頻序列，時間相關(guān)性占主導(dǎo)地位。并由此提出了一種具有低時延隨機訪問性能的多視點視頻編碼結(jié)構(gòu)。該編碼結(jié)

2、構(gòu)確定中間視點為基本視點，并將視差補償預(yù)測用于關(guān)鍵幀，而對非關(guān)鍵幀僅進行運動補償預(yù)測編碼。
　　 其次，論文針對非關(guān)鍵幀的運動補償預(yù)測編碼，根據(jù)相鄰視點間運動信息具有高度相關(guān)性的原理，提出一種基于自適應(yīng)運動矢量精細(xì)的Motion skip模式，該模式可得到當(dāng)前編碼宏塊更為精細(xì)的運動信息，從而提高了編碼效率。
　　 第三，在解碼端，基于Motion Skip模式的特點，論文提出了一種單循環(huán)解碼技術(shù)，即對參考視點中的關(guān)鍵幀進

3、行完全解碼，而對非關(guān)鍵幀只需進行解析得到運動信息用于解碼當(dāng)前幀，使參考視點中的所有非關(guān)鍵幀都不需要進行運動補償，從而降低了視點切換時的時延。
　　 最后，論文在JMVM模型的基礎(chǔ)上添加一個虛擬視點合成模塊，使用戶交互請求時不需要增加輔助的視頻流，直接使用聯(lián)合編碼后的碼流進行虛擬視點合；將該虛擬視點合成模塊與上述提出的編解碼方案相結(jié)合，虛擬視點序列同樣以GOP為單位，對其中的關(guān)鍵幀和非關(guān)鍵幀運用不同的合成技術(shù)，對關(guān)鍵幀采用基于深度