注意力引導(dǎo)的高效視頻解碼及顯示研究.pdf

1、對于視頻通信而言，其信宿，也就是最終接受者，是一個(gè)人類觀測者。對于這一點(diǎn)，很多傳統(tǒng)的視頻編解碼方式均沒有考慮到。本文圍繞這個(gè)問題，考慮了人類視覺系統(tǒng)在視線與視野、強(qiáng)度與對比上面的特點(diǎn)，結(jié)合人類視覺系統(tǒng)的視覺選擇性特性，設(shè)計(jì)了一個(gè)注意力引導(dǎo)的高效視頻解碼及顯示系統(tǒng)，主要工作如下：
　?。?）首先對人類視覺系統(tǒng)的特性進(jìn)行系統(tǒng)的研究，從人眼的生理構(gòu)造入手，研究了人類視覺系統(tǒng)的功能，然后研究了人類視覺系統(tǒng)在視線與視野、強(qiáng)度與對比上面的特點(diǎn)

2、?；谝陨系幕A(chǔ)研究，設(shè)計(jì)了一個(gè)基于注意力引導(dǎo)的高效視頻解碼及顯示系統(tǒng)的結(jié)構(gòu)。
　　（2）在實(shí)現(xiàn)所設(shè)計(jì)的高效視頻解碼及顯示系統(tǒng)中，對其中兩個(gè)關(guān)鍵技術(shù)要點(diǎn)做了重點(diǎn)的研究，第一個(gè)是多個(gè)數(shù)據(jù)流的幀融合，通過二值化、腐蝕、高斯模糊等操作后結(jié)合一個(gè)加權(quán)公式得到融合后圖像，這種方法可以消除對多數(shù)據(jù)流的圖像進(jìn)行簡單拼接留下的邊緣效應(yīng)。第二個(gè)是基于視頻序列在時(shí)間維度上的冗余進(jìn)行背景區(qū)域高分辨率重建。利用上一幀中部分信息對當(dāng)前幀中的部分背景區(qū)域進(jìn)行

3、重建，從而提高該區(qū)域的清晰度。通常方法僅考慮背景區(qū)域與高分辨區(qū)域之間的相似性，重建效果較差。本文利用最優(yōu)化理論中的懲罰函數(shù)法對遺傳算法中的目標(biāo)函數(shù)進(jìn)行了優(yōu)化，結(jié)合了兩幀高分辨區(qū)域之間的聯(lián)系，使得重建的結(jié)果與周圍圖像有更好的匹配效果。
　?。?）為量化對比本文方法與傳統(tǒng)方法在相同碼率條件下得到的視頻質(zhì)量之間的差異，研究了兩種視頻客觀質(zhì)量評價(jià)算法：峰值信噪比 PSNR和結(jié)構(gòu)相似性SSIM，其中重點(diǎn)研究了現(xiàn)在被廣泛使用的 SSIM算法。

4、研究過程中發(fā)現(xiàn) SSIM算法在模糊失真下表現(xiàn)不佳，給出的評價(jià)值與人眼觀感相悖。本文結(jié)合圖像的邊緣信息和感興趣區(qū)域信息，提出了一個(gè)結(jié)合了人眼注意力特性的改進(jìn)SSIM算法。實(shí)驗(yàn)結(jié)果顯示經(jīng)非線性擬合后對測試序列的主觀評價(jià)值進(jìn)行估計(jì)，相比傳統(tǒng)SSIM算法相對誤差下降了約50％。這表明本文改進(jìn)后的 SSIM算法更接近人眼的主觀感受。
　?。?）使用C++語言和ffmpeg等開源庫，編寫了一個(gè)注意力引導(dǎo)的高效視頻解碼及顯示程序，實(shí)現(xiàn)了所設(shè)計(jì)的