層次化視頻語(yǔ)義標(biāo)注與檢索.pdf

1、隨著多媒體、計(jì)算機(jī)和網(wǎng)絡(luò)的發(fā)展，視頻數(shù)據(jù)飛速增長(zhǎng)。為了對(duì)這些海量視頻數(shù)據(jù)進(jìn)行存儲(chǔ)、管理、和索引，需要研究高效的基于內(nèi)容的方法對(duì)視頻數(shù)據(jù)進(jìn)行檢索，而視頻標(biāo)注是視頻索引和視頻搜索的基礎(chǔ)。本文研究如何利用機(jī)器學(xué)習(xí)和視頻的特征，對(duì)視頻進(jìn)行多層次的、基于內(nèi)容的標(biāo)注。 視頻在結(jié)構(gòu)上共分四個(gè)層次：視頻(video)、場(chǎng)景(Scene)、鏡頭(shot)、圖象幀(frame)。通常視頻標(biāo)注主要在其中的視頻層和鏡頭層中進(jìn)行。視頻層的標(biāo)注是對(duì)整段視

2、頻標(biāo)注其類型屬性。鏡頭層的標(biāo)注主要是依據(jù)從該鏡頭中提取的關(guān)鍵幀，標(biāo)注其對(duì)應(yīng)的語(yǔ)義概念。根據(jù)所標(biāo)注的語(yǔ)義概念對(duì)應(yīng)的是圖象幀層次還是物體層次的，鏡頭層標(biāo)注又可進(jìn)一步分為圖象幀層標(biāo)注和物體層標(biāo)注。本文研究在視頻層、圖象幀層、和物體層上進(jìn)行視頻標(biāo)注時(shí)的關(guān)鍵問(wèn)題，主要工作和創(chuàng)新之處歸納為以下幾點(diǎn)： 1.目前視頻類型層標(biāo)注的研究工作通常僅僅標(biāo)注了幾種簡(jiǎn)單的類型，或者是局限在電影、體育運(yùn)動(dòng)等某個(gè)特定的類型內(nèi)標(biāo)注其子類型，而且使用的分類器也過(guò)于

3、簡(jiǎn)單。本文定義了一個(gè)相對(duì)完備的視頻類型分層表示，分析并提取一系列與類型相關(guān)的時(shí)空域特征，并提出使用局部和全局優(yōu)化的多類SVM二叉樹(shù)提高分類精度。實(shí)驗(yàn)結(jié)果表明，本文提出的局部和全局優(yōu)化的SVM二叉樹(shù)與另外兩種典型的SVM多類分類算法、以及現(xiàn)有的視頻分類工作中使用的分類器相比，能夠獲得更高的精確度。 2.當(dāng)蘸盼視頻類型層標(biāo)注工作都是采用被動(dòng)監(jiān)督學(xué)習(xí)的方法，需要大量的訓(xùn)練數(shù)據(jù)和費(fèi)時(shí)費(fèi)力的手工標(biāo)注。本文將主動(dòng)學(xué)習(xí)引入視頻類型層標(biāo)注，并提

4、出使用后驗(yàn)概率來(lái)計(jì)算分類器對(duì)未標(biāo)注樣本的置信度，然后依據(jù)此置信度選擇分類器最不確定的樣本，也即最“有用”的樣本提供給用戶進(jìn)行標(biāo)注，從而用更少的訓(xùn)練樣本獲得和大量訓(xùn)練樣本近似的分類效果，減輕用戶標(biāo)注訓(xùn)練數(shù)據(jù)的負(fù)擔(dān)。實(shí)驗(yàn)結(jié)果表明，本文提出的基于后驗(yàn)概率的主動(dòng)學(xué)習(xí)樣本選擇策略要略好于現(xiàn)有的基于變型空間的主動(dòng)學(xué)習(xí)樣本選擇策略、以及被動(dòng)學(xué)習(xí)的樣本選擇策略。 3.對(duì)于圖象幀層視頻標(biāo)注，本文考慮一種經(jīng)常遇到的實(shí)際應(yīng)用：僅擁有一小部分相關(guān)的正例，如俺學(xué)

5、習(xí)該目標(biāo)概念的模型。此時(shí)進(jìn)行視頻標(biāo)注主要存在下面兩個(gè)問(wèn)題：第一，對(duì)于僅有正例的訓(xùn)練數(shù)據(jù)，傳統(tǒng)的區(qū)分型分類器如SVM等無(wú)法直接使用；第二，區(qū)分各種語(yǔ)義概念的底層特征有很大的不同，使用統(tǒng)一的特征無(wú)法適應(yīng)各種語(yǔ)義概念的變化。本文提出一個(gè)基于流形排序的關(guān)鍵幀圖象層視頻標(biāo)注框。對(duì)第一個(gè)問(wèn)題，用流行排序解決僅有正例的不足，同時(shí)可以利用未標(biāo)注數(shù)據(jù)的分布信息。對(duì)第二個(gè)問(wèn)題，定義一個(gè)特征選擇準(zhǔn)則，引入特征選擇為不同的語(yǔ)義概念選擇不同的特征。此關(guān)鍵幀圖象層

6、視頻標(biāo)注框架支持新定義的目標(biāo)概念和新特征的引入。 4.在物體層視頻標(biāo)注中，傳統(tǒng)的多實(shí)例學(xué)習(xí)表達(dá)忽略了各種語(yǔ)義概念之間的語(yǔ)義相關(guān)性。因此本文提出existence-based多實(shí)例表達(dá)來(lái)描述這種概念間的語(yǔ)義相關(guān)性，并根據(jù)existence-based表達(dá)設(shè)計(jì)一種新的多實(shí)例學(xué)習(xí)算法MI-AdaBoost。算法首先對(duì)訓(xùn)練數(shù)據(jù)中的每個(gè)包進(jìn)行特征映射，轉(zhuǎn)換成包級(jí)特征空間的一個(gè)特征矢量，從麗將多實(shí)例學(xué)習(xí)轉(zhuǎn)換為傳統(tǒng)的監(jiān)督學(xué)習(xí)。這種特征映射會(huì)為

7、每個(gè)包建立一個(gè)包含大量噪聲的高維特征矢量，可以用AdaBoost進(jìn)行特征選擇并構(gòu)建分類器。 5。不同的語(yǔ)義概念對(duì)應(yīng)的底層特征有很大的不同，因此特征選擇對(duì)視頻標(biāo)注是非常關(guān)鍵的一個(gè)問(wèn)題。以前的研究工作在將多實(shí)例學(xué)習(xí)應(yīng)用于視頻標(biāo)注時(shí)，都忽略了如何在多實(shí)例學(xué)習(xí)情況下做特征選擇的問(wèn)題。由于傳統(tǒng)的單實(shí)例學(xué)習(xí)下的特征選擇算法通常都無(wú)法在多實(shí)例學(xué)習(xí)中直接應(yīng)用，本文提如了一種多實(shí)例學(xué)習(xí)下的特征選擇算法EBMIL，能夠在選擇映射后的包級(jí)特征的同時(shí)，