面向結構化數據的視頻檢索研究.pdf

1、視頻數據在近幾年呈現(xiàn)出爆炸式的增長，在人們的日常生活中占據越來越重要的地位，而視頻分享在未來數年甚至數十年也都將會是熱點，這使得視頻內容分析以及視頻檢索成為當前視頻研究領域的重點?；趦热莸囊曨l檢索(CBVR)是一項集理論性、實用性和挑戰(zhàn)性為一體的技術，經過十幾年的研究，取得了巨大的進展，已經有一些原型系統(tǒng)開發(fā)出來，并在小型商用搜索引擎中使用。在CBVR中，廣義的視頻結構化起著非常關鍵的作用。由于原始視頻為無結構的數據流，在檢索時首先需

2、要采用合適的模型將視頻組織為結構化數據，并根據結構化的組織形式對視頻進行分析、索引與查詢。本文的主要工作目標是研究視頻的數據結構化特性，并充分利用其結構特性設計高效的機器學習算法用于高層語義理解，能夠自動地或以較少的人工參與縮小底層特征與高層語義之間的“語義鴻溝”，最終改善視頻檢索的性能。 本文以視頻的結構為主線，分別從圖像層次結構、鏡頭層次結構和場景層次結構進行研究，提出在這些層次結構下的機器學習算法。本文的主要工作和創(chuàng)新點總

3、結如下： 1.針對基于全局信息的圖像層檢索，提出采用AdaBoost方法與SVM相結合進行多次樣本抽樣，將分類精度作為特征性能的判據進行特征選擇，選取少量有利于檢索的特征，將弱分類器增強為強分類器，從而較好的融合多種特征。 2.對基于區(qū)域信息的圖像層檢索，采用多示例學習進行建模，并利用多示例主動學習以減少人工標注的工作量，解決標注樣本缺乏問題。文中詳細分析多示例主動學習的特點，歸納為包層、示例層和混合層次三種主動學習模式

4、；針對包層多示例主動學習問題，提出一種結合示例數目統(tǒng)計特征和不確定性的樣本選擇策略，實驗驗證了該方法的有效性。 3.鏡頭是視頻的基本物理單元，因此視頻檢索通常都是在鏡頭級別進行。本文分析視頻本身所具有的多層次結構特性，首次提出多層次多示例學習框架，該框架結合了結構學習和多示例學習的特點，能對視頻內容有效建模。文中探討多層次多示例學習需要解決的關鍵問題，并針對這些問題設計多個算法構成一個完整的框架。本文首先設計多層次多示例核來度量

5、這種特定結構下樣本的相似度；然后利用邊緣化核的思想對多層次多示例核進行改進得到邊緣化多層次多示例核，解決示例貢獻的權重問題；繼而提出多層次多示例正則化框架，引入多重約束顯式地表達多層次結構和多示例關系特性，最終較好地解決了多層次多示例學習問題。 4.場景是視頻中的語義單元，比鏡頭具有更高的抽象和概括能力，在視頻語義理解時有效地結合場景信息將對視頻檢索、管理等語義級應用提供支持。本文提出一種將全局分布特性和局部相似性約束結合的基于