基于內(nèi)容分析的圖像視頻編碼研究.pdf

1、數(shù)字圖像視頻的壓縮技術(shù)已經(jīng)研究超過二十年，并取得了巨大的成功。然而，多年的開發(fā)使得以“預測-變換”為主的傳統(tǒng)編碼框架越來越接近其性能極限。我們有必要從新的角度分析并理解數(shù)字圖像視覺內(nèi)容，開發(fā)新的編碼壓縮方法。最近十年中，計算機視覺領(lǐng)域的快速發(fā)展啟發(fā)我們可以從視覺內(nèi)容分析出發(fā)，發(fā)掘圖像的視覺相關(guān)性，改進圖像視頻編碼性能。
　　在本論文中，我們重點研究視覺內(nèi)容分析技術(shù)與圖像視頻編碼技術(shù)的結(jié)合，借助視覺內(nèi)容分析技術(shù)對圖像間視覺相關(guān)性進行

2、分析，消除圖像和視頻中不同層面的視覺冗余，從而提高圖像視頻的編碼效率。本論文的主要貢獻可以總結(jié)為三個部分的工作。
　　在第一部分工作中，我們提出了一種基于視覺模式分析的圖像編碼方法。該方法通過先驗視覺模式描述圖像低頻和高頻之間的視覺相關(guān)性，并由此自適應(yīng)地在編碼端丟棄圖像中的某些高頻視覺冗余，改善編碼性能。同時在解碼端，根據(jù)視覺模式包含的先驗信息估計并恢復丟失的高頻細節(jié)，改善圖像重建質(zhì)量。此外，我們進一步地將基于視覺模式的分析技術(shù)擴

3、展至可伸縮視頻編碼應(yīng)用，提出了一種新的基于視覺模式分析的層間預測方法。該方法借助視覺模式的搜索和映射，同時發(fā)掘可伸縮視頻序列在時域和空域的視覺相關(guān)性，分別生成兩個高質(zhì)量的層間預測信號，改善可伸縮視頻編碼性能。此外，我們還采用了基于參數(shù)分析的預測方法，通過分析基本層已編碼的信息（比如HEVC編碼中的四叉樹信息）來實現(xiàn)復雜度較低的層間預測。我們的方法通過結(jié)合多種內(nèi)容分析機制，同時提供了多環(huán)路和單環(huán)路的系統(tǒng)實現(xiàn)，在編碼性能和復雜度之間取得更好

4、的平衡。
　　在第二部分的工作中，我們提出了一種基于圖像特征的高效圖像編碼方法。該方法通過圖像局部特征匹配建立起更緊密的圖像局部視覺聯(lián)系，再配合像素層面的相關(guān)性分析，更有效地消除視覺冗余。具體地說，我們利用多尺度小波變換和SIFT特征提取，首先將輸入圖像分解為全局信息和子帶內(nèi)局部信息，并進行編碼壓縮。全局信息是對輸入圖像的基本描述，包含有限的視覺冗余;而子帶內(nèi)局部信息則是從不同的小波子帶中提取的SIFT局部特征。在解碼端，我們利用

5、解碼的SIFT特征從云端圖像數(shù)據(jù)庫中，檢索出一組視覺相似的圖像片。然后，結(jié)合基于視覺模式的分析和映射，將這些相似圖像片中的信息與解碼的全局信息融合起來，重建目標圖像。根據(jù)子帶內(nèi)SIFT特征建立的視覺聯(lián)系，我們利用基于視覺模式的映射從最低頻的子帶開始，由低頻至高頻，依次將視覺相似圖像片內(nèi)的信息融合進入對應(yīng)的子帶，恢復圖像不同頻帶內(nèi)的局部細節(jié)，直到圖像完整重建。我們的方法通過結(jié)合局部特征分析技術(shù)和視覺模式分析的優(yōu)點，取得更高效的圖像編碼性能

6、。
　　在第三部分的工作中，我們提出一種基于圖像特征全局相似度分析的圖像集整體優(yōu)化編碼方法。根據(jù)圖像局部特征的整體統(tǒng)計特性，我們定義特征距離來分析圖像與圖像間的全局相似度。在此基礎(chǔ)上，我們將圖像集聚類為若干個相關(guān)性更強的子集，并將每個子集中圖像間的關(guān)系描述為一個加權(quán)有向圖。圖中每個節(jié)點代表一幅圖像，每一條邊由特征距離加權(quán)。通過尋找該有向圖的最小權(quán)值生成樹，可以得到具有最小預測代價的優(yōu)化編碼結(jié)構(gòu)。為了進一步增強圖與圖之間的相關(guān)性，我

7、們提出了一種全新的基于特征的圖像間三步預測方法。首先，我們利用SIFT特征匹配和多模型幾何運動估計，消除不同區(qū)域的幾何形變。其次，我們引入光度變換消除圖像間由于光照變化帶來的差異。最后，我們利用基于塊的運動補償機制生成局部優(yōu)化的預測信號。我們提出的基于圖像特征的方法充分利用多種內(nèi)容分析技術(shù)的優(yōu)點。基于特征的全局分析技術(shù)有效地確定了優(yōu)化編碼結(jié)構(gòu);基于局部特征匹配的圖像變換增強了圖像與圖像間的區(qū)域相關(guān)性;基于像素的運動補償生成了更精確的預測