混合空時(shí)分辨率視頻增強(qiáng)算法研究.pdf

1、隨著數(shù)字多媒體處理技術(shù)的發(fā)展和多媒體微處理器處理能力的提高，超高清電視(UHDTV，Ultra High Definition Television)成為繼高清電視(HDTV，HighDefinition Television)后下一代電視發(fā)展的方向，超高清視頻也隨著人們對(duì)視頻質(zhì)量與視覺體驗(yàn)要求的不斷提高成為新時(shí)代的寵兒。然而，超高清視頻對(duì)網(wǎng)絡(luò)傳輸帶寬的要求成為制約其普及的瓶頸。
　　在大尺寸液晶顯示設(shè)備上，其所播放視頻的分辨率越

2、高，幀率越高，畫面就越流暢，用戶的體驗(yàn)效果越好。然而隨著分辨率以及幀率的提高，視頻的數(shù)據(jù)量必然會(huì)急劇增加，對(duì)有限的網(wǎng)絡(luò)傳輸帶寬帶來極大的挑戰(zhàn)。例如超高清視頻的分辨率為3840×2160，相對(duì)于高清視頻(1280×720)，分辨率提升了3倍，數(shù)據(jù)量也相應(yīng)地提高了3倍，而對(duì)于幀率來說，每提高一倍幀率意味著數(shù)據(jù)量增加了一倍。H.264/AVC標(biāo)準(zhǔn)中的可分級(jí)視頻編碼技術(shù)，可以自適應(yīng)地丟棄視頻內(nèi)容，以適應(yīng)于網(wǎng)絡(luò)環(huán)境的變化?；旌戏直媛室曨l便應(yīng)運(yùn)而生

3、，其通過對(duì)視頻進(jìn)行空間或時(shí)間的下采樣，適應(yīng)于有限的網(wǎng)絡(luò)帶寬?；旌戏直媛室曨l處理技術(shù)，即是在接收端，通過視頻增強(qiáng)算法，重現(xiàn)原始視頻的空間與時(shí)間分辨率。
　　本論文著重對(duì)混合分辨率視頻處理方法進(jìn)行了研究，包含對(duì)單路混合分辨率視頻中空間分辨率提升、時(shí)間分辨率提升，以及非對(duì)稱立體視頻中空時(shí)分辨率提升三部分。從數(shù)據(jù)存儲(chǔ)空間來看，可以節(jié)省近三分之二的存儲(chǔ)空間，減少數(shù)據(jù)傳輸占用的帶寬;從視頻質(zhì)量來看，通過有效的空間與時(shí)間分辨率提升方法，可以達(dá)到

4、較好的視覺效果，滿足用戶的視覺體驗(yàn)。
　　論文主要在以下幾個(gè)方面進(jìn)行了研究:
　　1.提出了一種基于關(guān)鍵幀的自適應(yīng)重疊塊運(yùn)動(dòng)補(bǔ)償視頻分辨率增強(qiáng)方法，首先通過基于塊匹配的運(yùn)動(dòng)估計(jì)得到運(yùn)動(dòng)向量場(chǎng)，然后根據(jù)當(dāng)前塊與周圍鄰塊的絕對(duì)誤差和與角度差，將運(yùn)動(dòng)向量按照可靠性進(jìn)行分級(jí)，并根據(jù)可靠性級(jí)別高的運(yùn)動(dòng)向量對(duì)可靠性級(jí)別低的運(yùn)動(dòng)向量進(jìn)行校正，提高了運(yùn)動(dòng)向量的精確性;在得到運(yùn)動(dòng)向量可靠性級(jí)別后，應(yīng)用自適應(yīng)重疊塊運(yùn)動(dòng)補(bǔ)償方法，對(duì)不同可靠性級(jí)別

5、的運(yùn)動(dòng)向量采用不同的加權(quán)方式，加強(qiáng)準(zhǔn)確性高的信息，減輕準(zhǔn)確性差的信息帶入的負(fù)面效應(yīng)如塊效應(yīng)等，提高整體圖像的可觀賞性。
　　2.提出了一種基于邊緣檢測(cè)的幀率提升算法。根據(jù)視頻中每個(gè)圖像的邊緣信息，采用單向可變塊的運(yùn)動(dòng)估計(jì)，由宏塊中邊緣信息的多少?zèng)Q定進(jìn)行運(yùn)動(dòng)估計(jì)的宏塊大小;針對(duì)單向運(yùn)動(dòng)補(bǔ)償存在的重疊區(qū)域與空洞區(qū)域的問題，對(duì)重疊區(qū)域采用選擇最小絕對(duì)誤差和所指向的宏塊作為最佳匹配塊，對(duì)空洞區(qū)域采用基于邊緣信息的補(bǔ)洞策略，根據(jù)空洞中邊緣存

6、在的位置，對(duì)應(yīng)地進(jìn)行補(bǔ)洞，有效地解決了補(bǔ)洞時(shí)錯(cuò)誤信息填補(bǔ)以及塊效應(yīng)等問題，并保持了幀率提升中物體邊緣信息的完整性。
　　3.提出了一種非對(duì)稱立體視頻的空時(shí)分辨率增強(qiáng)算法，即輸入視頻為一路高分辨率低幀率視頻，一路低分辨率高幀率視頻，經(jīng)過空時(shí)分辨率增強(qiáng)算法后，輸出兩路高分辨率高幀率視頻。首先提出一種基于自適應(yīng)支撐加權(quán)的歸一化互信息立體匹配算法，對(duì)非對(duì)稱立體視頻中的同步幀應(yīng)用提出的立體匹配算法，利用一對(duì)同步幀中的高分辨率幀中的信息來提高

7、低分辨率幀的空間分辨率，在提高算法穩(wěn)定性的同時(shí)也有效地降低塊效應(yīng);然后對(duì)包含有高分辨率同步幀的低分辨率高幀率視頻采用所研究的基于關(guān)鍵幀的視頻超分辨率算法，提高這路低分辨率視頻的空間分辨率;利用高幀率視頻的信息，對(duì)低幀率視頻進(jìn)行視角間與視角內(nèi)的混合幀插入方法，即根據(jù)兩路視頻的視差信息，進(jìn)行視角間的視差補(bǔ)償幀插入，并對(duì)于單路低幀率視頻，采用所研究的基于邊緣信息的幀率提升方法，最后根據(jù)宏塊的運(yùn)動(dòng)屬性，即運(yùn)動(dòng)劇烈不規(guī)則采用視差補(bǔ)償方式，運(yùn)動(dòng)平緩