基于視覺顯著性的網(wǎng)絡(luò)丟包圖像和視頻的客觀質(zhì)量評估方法研究.pdf

1、隨著網(wǎng)絡(luò)視頻在娛樂、教育、商業(yè)等方面越來越廣泛的應(yīng)用,高品質(zhì)的視頻壓縮技術(shù)不斷推陳出新,用戶對高質(zhì)量視頻的需求也隨之不斷提高。然而,以網(wǎng)絡(luò)為載體的視頻數(shù)據(jù)除了會遭受有損壓縮帶來的量化編碼失真,還會在傳輸過程中遭遇信道傳輸?shù)膿砣蜓舆t而造成的數(shù)據(jù)包丟失。由于視頻的壓縮和解碼中廣泛采用了空間-時間運動估計技術(shù),因此,視頻數(shù)據(jù)包的丟失會嚴重影響解碼后終端視頻的觀看質(zhì)量。受網(wǎng)絡(luò)丟包損傷的圖像和視頻具有獨特的視覺特征,而目前的客觀質(zhì)量評估研究還主

2、要集中在對壓縮編碼失真的評估。因此,對受丟包影響的圖像和視頻進行有效地評估,特別是建立一種符合人眼視覺感知特性的客觀質(zhì)量評估方法,對于網(wǎng)絡(luò)服務(wù)的設(shè)計和監(jiān)控具有重要的意義。
　　 本研究主要面向受網(wǎng)絡(luò)丟包損傷的圖像和視頻,從研究丟包失真圖像和視頻的視覺特征出發(fā),結(jié)合人眼視覺的選擇性注意特性,提出了基于視覺顯著性的全參考客觀質(zhì)量評估模型。本文的主要研究內(nèi)容及貢獻如下:
　　 在對網(wǎng)絡(luò)丟包失真圖像和視頻的空間-時間視覺特征進行

3、分析的基礎(chǔ)上,本文提出結(jié)合人眼視覺系統(tǒng)的顯著性視覺注意特性來評估網(wǎng)絡(luò)丟包失真圖像和視頻的感知質(zhì)量。圖像和視頻的視覺顯著注意信息通過采用Itti的自底向上顯著區(qū)域檢測模型得到。對于動態(tài)視頻的應(yīng)用,本文將運動作為另一種顯著特征,通過結(jié)合生物啟發(fā)式HR運動感知檢測模型,在Itti的顯著區(qū)域檢測模型中實現(xiàn)了基于生物相關(guān)的HR多尺度顯著運動感知模型。
　　 本文分別針對網(wǎng)絡(luò)丟包圖像和視頻構(gòu)建了兩個數(shù)據(jù)庫。原始視頻采用17個來自美國某視頻研

4、究所的標準視頻序列,并模擬網(wǎng)絡(luò)丟包事件構(gòu)造了受丟包損傷的重建圖像和視頻序列。為了排除長視頻序列中由于丟包所在位置、長度、以及寬恕效應(yīng)等因素的影響,使得視覺顯著性信息能夠充分反映網(wǎng)絡(luò)丟包視頻的視覺特性,每個測試視頻為只含有單個丟包事件的短視頻序列。對于每一個數(shù)據(jù)庫,本文都按照ITU-R BT500-11標準嚴格實施了單激勵主觀質(zhì)量評價實驗,其結(jié)果為論文的客觀質(zhì)量方法提供了評價標準。
　　 通過探索人眼視覺系統(tǒng)自底向上以圖像數(shù)據(jù)為驅(qū)

5、動的預(yù)注意機制原理,根據(jù)網(wǎng)絡(luò)丟包損傷圖像/視頻的空間視覺特征提出假設(shè):丟包引入的失真在視覺顯著注意區(qū)域比出現(xiàn)在背景等非視覺注意區(qū)域更影響圖像/視頻質(zhì)量。借鑒HVS對失真信息進行加權(quán)的質(zhì)量評價思想,論文首次將視覺顯著注意信息應(yīng)用到受網(wǎng)絡(luò)丟包損傷的圖像/視頻,提出一組基于視覺顯著失真的全參考客觀質(zhì)量評估方法。
　　 通過探索人眼自項向下以先驗認知為指導(dǎo)的高級視覺注意機制原理,根據(jù)網(wǎng)絡(luò)丟包損傷圖像/視頻的空間-時間視覺特征提出假設(shè):人

6、眼總是容易被一些突然引入的異常事件,或者局部異常的區(qū)域所吸引；這是由于這些事件或區(qū)域與人眼在先驗感知指導(dǎo)下的期望注意區(qū)域產(chǎn)生了差異,而因此導(dǎo)致了注意視線的改變。通過考察網(wǎng)絡(luò)丟包失真圖像/視頻與參考圖像/視頻相比在空間上引起的視覺注意變化,以及在視頻時間域上引起的不同幅度的視覺注意變化,并根據(jù)這些變化相應(yīng)的視覺顯著性在空間上的差異和在時間上的變化幅度,本文創(chuàng)新地提出基于視覺空間-時間顯著性變化的全參考客觀質(zhì)量評估方法。
　　 在對

7、以上提出的兩類視覺顯著性質(zhì)量評估方法進行綜合比較后,論文對所有的質(zhì)量評估方法進行了最佳單調(diào)映射變換,并將其作為構(gòu)建統(tǒng)一評估模型的評價因子。通過應(yīng)用逐步線性回歸分析以及交叉驗證方法,本文分別針對網(wǎng)絡(luò)丟包單個圖像以及視頻序列構(gòu)建了基于視覺顯著信息的線性評估模型。通過與傳統(tǒng)的沒有考慮視覺顯著信息的客觀質(zhì)量評估模型以及標準的視頻評估模型對比,實驗結(jié)果表明,本文提出的基于視覺顯著性的客觀質(zhì)量評估模型能夠有效地評價網(wǎng)絡(luò)丟包損傷圖像和視頻的感知質(zhì)量,