面向結(jié)構(gòu)化數(shù)據(jù)的視頻檢索研究.pdf

1、視頻數(shù)據(jù)在近幾年呈現(xiàn)出爆炸式的增長(zhǎng)，在人們的日常生活中占據(jù)越來(lái)越重要的地位，而視頻分享在未來(lái)數(shù)年甚至數(shù)十年也都將會(huì)是熱點(diǎn)，這使得視頻內(nèi)容分析以及視頻檢索成為當(dāng)前視頻研究領(lǐng)域的重點(diǎn)?；趦?nèi)容的視頻檢索(CBVR)是一項(xiàng)集理論性、實(shí)用性和挑戰(zhàn)性為一體的技術(shù)，經(jīng)過(guò)十幾年的研究，取得了巨大的進(jìn)展，已經(jīng)有一些原型系統(tǒng)開發(fā)出來(lái)，并在小型商用搜索引擎中使用。在CBVR中，廣義的視頻結(jié)構(gòu)化起著非常關(guān)鍵的作用。由于原始視頻為無(wú)結(jié)構(gòu)的數(shù)據(jù)流，在檢索時(shí)首先需

2、要采用合適的模型將視頻組織為結(jié)構(gòu)化數(shù)據(jù)，并根據(jù)結(jié)構(gòu)化的組織形式對(duì)視頻進(jìn)行分析、索引與查詢。本文的主要工作目標(biāo)是研究視頻的數(shù)據(jù)結(jié)構(gòu)化特性，并充分利用其結(jié)構(gòu)特性設(shè)計(jì)高效的機(jī)器學(xué)習(xí)算法用于高層語(yǔ)義理解，能夠自動(dòng)地或以較少的人工參與縮小底層特征與高層語(yǔ)義之間的“語(yǔ)義鴻溝”，最終改善視頻檢索的性能。 本文以視頻的結(jié)構(gòu)為主線，分別從圖像層次結(jié)構(gòu)、鏡頭層次結(jié)構(gòu)和場(chǎng)景層次結(jié)構(gòu)進(jìn)行研究，提出在這些層次結(jié)構(gòu)下的機(jī)器學(xué)習(xí)算法。本文的主要工作和創(chuàng)新點(diǎn)總

3、結(jié)如下： 1.針對(duì)基于全局信息的圖像層檢索，提出采用AdaBoost方法與SVM相結(jié)合進(jìn)行多次樣本抽樣，將分類精度作為特征性能的判據(jù)進(jìn)行特征選擇，選取少量有利于檢索的特征，將弱分類器增強(qiáng)為強(qiáng)分類器，從而較好的融合多種特征。 2.對(duì)基于區(qū)域信息的圖像層檢索，采用多示例學(xué)習(xí)進(jìn)行建模，并利用多示例主動(dòng)學(xué)習(xí)以減少人工標(biāo)注的工作量，解決標(biāo)注樣本缺乏問(wèn)題。文中詳細(xì)分析多示例主動(dòng)學(xué)習(xí)的特點(diǎn)，歸納為包層、示例層和混合層次三種主動(dòng)學(xué)習(xí)模式

4、；針對(duì)包層多示例主動(dòng)學(xué)習(xí)問(wèn)題，提出一種結(jié)合示例數(shù)目統(tǒng)計(jì)特征和不確定性的樣本選擇策略，實(shí)驗(yàn)驗(yàn)證了該方法的有效性。 3.鏡頭是視頻的基本物理單元，因此視頻檢索通常都是在鏡頭級(jí)別進(jìn)行。本文分析視頻本身所具有的多層次結(jié)構(gòu)特性，首次提出多層次多示例學(xué)習(xí)框架，該框架結(jié)合了結(jié)構(gòu)學(xué)習(xí)和多示例學(xué)習(xí)的特點(diǎn)，能對(duì)視頻內(nèi)容有效建模。文中探討多層次多示例學(xué)習(xí)需要解決的關(guān)鍵問(wèn)題，并針對(duì)這些問(wèn)題設(shè)計(jì)多個(gè)算法構(gòu)成一個(gè)完整的框架。本文首先設(shè)計(jì)多層次多示例核來(lái)度量

5、這種特定結(jié)構(gòu)下樣本的相似度；然后利用邊緣化核的思想對(duì)多層次多示例核進(jìn)行改進(jìn)得到邊緣化多層次多示例核，解決示例貢獻(xiàn)的權(quán)重問(wèn)題；繼而提出多層次多示例正則化框架，引入多重約束顯式地表達(dá)多層次結(jié)構(gòu)和多示例關(guān)系特性，最終較好地解決了多層次多示例學(xué)習(xí)問(wèn)題。 4.場(chǎng)景是視頻中的語(yǔ)義單元，比鏡頭具有更高的抽象和概括能力，在視頻語(yǔ)義理解時(shí)有效地結(jié)合場(chǎng)景信息將對(duì)視頻檢索、管理等語(yǔ)義級(jí)應(yīng)用提供支持。本文提出一種將全局分布特性和局部相似性約束結(jié)合的基于