基于內(nèi)容的多層次語義視頻對象提取技術(shù)研究.pdf

1、近年來，隨著視頻信號的壓縮、傳輸和存儲等方面技術(shù)的迅速發(fā)展，引發(fā)了基于內(nèi)容的視頻分析的研究熱潮，人們對多媒體信息的需求也從簡單的播放轉(zhuǎn)向了以基于內(nèi)容的訪問、檢索和操作為特征的交互式視頻服務(wù)、娛樂視頻應(yīng)用以及各種媒體的視頻點播等。 由于MPEG-4和MPEG-7等標準的提出，理解和提取語義視頻對象成為一個視頻壓縮、檢索等領(lǐng)域中非常重要的一個研究方向。盡管利用各種區(qū)域特征進行圖片分割的研究已經(jīng)取得了很大成效，但從眾多視頻資源中提取語

2、義視頻對象，建立具有健壯性的多層次的語義視頻樹還是一個亟待研究的課題。但由于特征和語義之間并不存在一一匹配的關(guān)系，傳統(tǒng)視頻內(nèi)容分析方法帶來了語義鴻溝問題。 如何利用現(xiàn)有的視頻分割提取及內(nèi)容分析技術(shù)，建立合理有效且更加具有一般性的語義視頻信息描述模型，提出基于具體模型和內(nèi)容的多層次語義視頻對象提取算法是本文的主要工作。本文的主要思路是:首先在前期的研究基礎(chǔ)上，對語義視頻信息描述模型進行研究和探討，提出一種基于內(nèi)容的多層次語義視頻對

3、象描述模型，進而基于該語義視頻對象提取結(jié)構(gòu)框圖設(shè)計和實現(xiàn)了一個足球視頻對象提取算法。主要工作包括如下幾個方面： 在語義視頻對象描述與分析方面，本文在分析了基于結(jié)構(gòu)建模和基于內(nèi)容建模的傳統(tǒng)語義視頻對象描述模型及改進的視頻語義信息層次化描述模型基礎(chǔ)上，提出了一種適用于足球視頻信息檢測的多層次語義視頻對象描述模型。 在語義視頻對象提取方面，本文在提出的描述模型的基礎(chǔ)上進一步提出了一個基于內(nèi)容的多層次語義視頻對象提取結(jié)構(gòu)框圖，并

4、設(shè)計了基于多層次語義視頻對象提取算法。算法具體如下：首先進行鏡頭邊緣檢測，利用光流法在一段連續(xù)的視頻序列中提取關(guān)鍵幀。然后用高斯馬爾可夫模型對其進行顏色和紋理的混合特征進行圖像分割。用Normalize-cut準則，對其運動信息進行分析，分離背景，最后進行區(qū)域聚合，即得到具有語義的視頻對象。本算法對于背景運動信息較豐富的序列圖像取得良好的提取效果。 最后，論文還研究和預測了該技術(shù)在視頻會議、視頻對象監(jiān)控的應(yīng)用前景，并結(jié)合國家86