故事視頻的語(yǔ)義分析與提取.pdf

1、科技的發(fā)展使得數(shù)字視頻潮水般涌入人們的日常生活。視頻內(nèi)容的豐富性和多樣性、以及特征數(shù)據(jù)特有的時(shí)空高維結(jié)構(gòu)，使得如何有效地對(duì)海量視頻進(jìn)行表達(dá)、存儲(chǔ)和管理，以便人們快速地瀏覽和檢索，成為一個(gè)亟待解決的重大課題。傳統(tǒng)的數(shù)據(jù)管理與檢索技術(shù)已遠(yuǎn)不能適應(yīng)這種急速的變化和需求，因此基于內(nèi)容的視頻檢索(CBVR)應(yīng)運(yùn)而生，相關(guān)的研究迅速在各國(guó)展開。 目前，CBVR在多個(gè)方面取得了長(zhǎng)足的進(jìn)步，視頻中語(yǔ)義信息的提取成為研究的熱點(diǎn)，少數(shù)基于語(yǔ)義檢索的

2、原型系統(tǒng)也已出現(xiàn)。然而，由于語(yǔ)義對(duì)象的提取、語(yǔ)義的分析和理解等仍存在較大問題，大規(guī)模的應(yīng)用還沒實(shí)現(xiàn)。本文針對(duì)語(yǔ)義提取這個(gè)熱點(diǎn)和難點(diǎn)從感知和認(rèn)知的視角，結(jié)合電影理論和社會(huì)學(xué)等跨領(lǐng)域內(nèi)容進(jìn)行了較系統(tǒng)和循序漸進(jìn)的研究，提出了一些新的框架和算法，主要內(nèi)容如下： 在視覺內(nèi)容的表達(dá)方面，針對(duì)顏色、紋理等靜態(tài)特征只能表示圖像的內(nèi)部特性，不能刻畫序列圖像的時(shí)間關(guān)系的問題，提出了一個(gè)壓縮域全局運(yùn)動(dòng)特征的估計(jì)方法，并描述了視頻內(nèi)容在時(shí)域上的變化以及

3、上下文關(guān)系。首先通過簡(jiǎn)化一個(gè)六參數(shù)運(yùn)動(dòng)模型估計(jì)出全局運(yùn)動(dòng)參數(shù)；隨后提出基于滑動(dòng)窗的視頻運(yùn)動(dòng)分割算法，完成視頻的全局運(yùn)動(dòng)分割和關(guān)鍵詞注釋，并運(yùn)用特征點(diǎn)序列對(duì)運(yùn)動(dòng)信息進(jìn)行了描述；最后，為了驗(yàn)證所提取運(yùn)動(dòng)特征的有效性，提出一個(gè)基于全局運(yùn)動(dòng)的視頻檢索框架。試驗(yàn)結(jié)果表明，該算法能準(zhǔn)確地對(duì)視頻進(jìn)行全局運(yùn)動(dòng)分割，視頻的全局運(yùn)動(dòng)檢索也能獲得較高的準(zhǔn)確率，還實(shí)現(xiàn)了基于Xquery的關(guān)鍵詞查詢。 鏡頭邊界檢測(cè)(SBD)是CBVR的基礎(chǔ)，處于視頻結(jié)構(gòu)

4、分析的底層，它的性能將直接影響其它視頻分析的結(jié)果。為此提出了一個(gè)基于多層次特征描述和SVM的SBD算法。影響SBD性能的因素較多，本文將其總結(jié)為視覺內(nèi)容的表達(dá)不夠理想、序列圖像的上下文聯(lián)系不夠緊密和分類器性能有待提高三方面，并提出了相應(yīng)的解決辦法：針對(duì)第一點(diǎn)，提出應(yīng)該兼顧特征的敏感性和不變性，因此采用了從像素到全局的多層次特征描述方法；對(duì)第二點(diǎn)，運(yùn)用一個(gè)變長(zhǎng)滑動(dòng)窗來(lái)建立特征矢量間的上下文聯(lián)系；針對(duì)第三點(diǎn)，采用SVM分類器，通過主動(dòng)學(xué)習(xí)和

5、交叉驗(yàn)證分別來(lái)選擇正負(fù)樣本的比例和訓(xùn)練參數(shù)。此外，還提出邊緣、運(yùn)動(dòng)等獨(dú)立的檢測(cè)子來(lái)對(duì)SVM分類結(jié)果中的誤檢加以修正。從TRECVID2007的測(cè)評(píng)來(lái)看，我們的算法在15個(gè)參賽組中取得了較為滿意的結(jié)果。 在語(yǔ)義對(duì)象的提取方面，提出了一個(gè)基于視覺注意模型的語(yǔ)義對(duì)象的選擇性提取算法。基于對(duì)象的語(yǔ)義提取是視頻分析中的一個(gè)難點(diǎn)，對(duì)象的有效提取能夠明顯提高語(yǔ)義概念檢測(cè)的準(zhǔn)確性。對(duì)象的提取面臨顏色的量化、圖像的分割、語(yǔ)義對(duì)象的確定等諸多困難。

6、針對(duì)這些問題，本文首先提出一個(gè)顏色的矢量量化算法完成彩色圖像的量化；其次綜合考慮圖像的顏色和空間分布特性，提出一種基于圖模型和區(qū)域組合的方法來(lái)分割圖像；隨后建立一個(gè)視覺注意模型來(lái)確定圖像的視覺注意中心和轉(zhuǎn)移順序；接著在Gestalt準(zhǔn)則下融合顏色、紋理以及邊界特征來(lái)描述圖像的同質(zhì)特性；最后根據(jù)注意中心的轉(zhuǎn)移順序來(lái)提取圖像的多個(gè)視覺顯著對(duì)象。實(shí)驗(yàn)表明，在Corel圖像庫(kù)和TREC等視頻上提取的顯著對(duì)象獲得了較高的主觀評(píng)價(jià)。 在視頻

7、摘要方面，提出了一個(gè)基于電影結(jié)構(gòu)模型和感知線索的分層視頻摘要產(chǎn)生框架，以及一套完整的模型算法?，F(xiàn)有的視頻摘要算法主要針對(duì)新聞、體育等非故事性結(jié)構(gòu)而且時(shí)長(zhǎng)較短的視頻類型，不適用于全長(zhǎng)度的電影。為此，首先提出一個(gè)故事結(jié)構(gòu)模型—NP模型，將電影分解成幕、情節(jié)和場(chǎng)景三個(gè)層次，同時(shí)給出了場(chǎng)景的分割與分類算法；隨后，構(gòu)造一個(gè)基于情感刺激量的場(chǎng)景“重要性”函數(shù)來(lái)計(jì)算每個(gè)場(chǎng)景、情節(jié)、幕的重要性，以此來(lái)分配提取的關(guān)鍵幀和縮略的數(shù)目和長(zhǎng)度；此外建立一個(gè)注意

8、力模型來(lái)將重要的電影元素量化并融合成一條注意力曲線；最后將電影結(jié)構(gòu)模型、情感模型和注意力模型有機(jī)地融合起來(lái)，提出了一個(gè)多層次的視頻摘要框架，分別產(chǎn)生靜態(tài)關(guān)鍵幀和動(dòng)態(tài)視頻縮略。七部好萊塢影片驗(yàn)證了框架的有效性和通用性，實(shí)驗(yàn)結(jié)果在信息量和愉悅度上都優(yōu)于代表性的Ma提出的算法。 在視頻語(yǔ)義的提取方面，提出了一個(gè)基于社會(huì)網(wǎng)絡(luò)分析(SNA)和電影本體(Ontology)的影片內(nèi)容理解框架和一套語(yǔ)義提取算法。目前語(yǔ)義的研究主要集中在新聞、體

9、育、醫(yī)學(xué)等場(chǎng)景較為簡(jiǎn)單的視頻類型，電影的自動(dòng)理解則缺乏系統(tǒng)的研究。電影遠(yuǎn)比新聞等復(fù)雜，傳統(tǒng)的語(yǔ)義分析方法難以縮小影片的語(yǔ)義鴻溝。本文從一個(gè)全新的視角提出通過SNA和建立電影本體來(lái)分析影片的故事內(nèi)容。將電影看成一個(gè)特殊的社會(huì)網(wǎng)絡(luò)，利用SNA來(lái)確定角色的社區(qū)結(jié)構(gòu)和角色間的關(guān)系，并結(jié)合電影結(jié)構(gòu)模型分析出故事的發(fā)展線索；其次，構(gòu)造了一個(gè)電影本體，根據(jù)本體建立起角色的身份、職業(yè)以及政府各機(jī)構(gòu)之間的聯(lián)系；第三，提出一個(gè)分層的基于時(shí)間線索的高層動(dòng)作事