視頻語(yǔ)義特征提取算法研究.pdf

1、多媒體技術(shù)的發(fā)展產(chǎn)生了大量的多媒體數(shù)據(jù)，多媒體壓縮技術(shù)和迅速擴(kuò)張的互聯(lián)網(wǎng)便利了多媒體數(shù)據(jù)的存儲(chǔ)及傳輸。多媒體數(shù)據(jù)形式多樣，包括文本、圖像、音頻和視頻等。隨著多媒體數(shù)據(jù)量的急劇增加，傳統(tǒng)的基于文本的多媒體信息檢索越來(lái)越不能滿足應(yīng)用的需要，人們希望計(jì)算機(jī)能夠自動(dòng)地對(duì)多媒體數(shù)據(jù)的內(nèi)容進(jìn)行分析、根據(jù)分析結(jié)果進(jìn)行檢索，也就是基于內(nèi)容的多媒體信息檢索。 視頻是多媒體數(shù)據(jù)的一個(gè)重要組成部分，具有區(qū)別于其它多媒體數(shù)據(jù)的特性。視頻的組成復(fù)雜，包含

2、有文本、音頻和圖像等多方面的信息，視頻還同時(shí)涉及時(shí)間域和空間域，由此帶來(lái)了視頻分析的復(fù)雜性。面對(duì)越來(lái)越多的海量視頻數(shù)據(jù)，如何從中找到所需的視頻片斷(鏡頭或場(chǎng)景)成為一個(gè)日趨迫切的問(wèn)題。因此，基于內(nèi)容的視頻檢索獲得了越來(lái)越多的關(guān)注。 視頻語(yǔ)義特征提取是基于內(nèi)容的視頻檢索中的一個(gè)關(guān)鍵環(huán)節(jié)。視頻語(yǔ)義特征提取的任務(wù)就是將底層物理特征映射到視頻語(yǔ)義特征，實(shí)現(xiàn)對(duì)視頻的自動(dòng)語(yǔ)義標(biāo)注。視頻具有時(shí)空特性，圖像幀從空間域描述了視頻內(nèi)容，視頻運(yùn)動(dòng)則從

3、時(shí)間域描述了視頻內(nèi)容。目前，相關(guān)的視頻語(yǔ)義特征提取的工作主要集中于TRECVID，IBM和CMU等研究機(jī)構(gòu)在此評(píng)測(cè)中取得了較好的成績(jī)。但是，底層物理特征和視頻語(yǔ)義特征之間仍然存在著“語(yǔ)義鴻溝”，視頻語(yǔ)義特征的提取方法仍然不夠成熟，需要進(jìn)一步的研究和探討。 本文就視頻語(yǔ)義特征提取中的兩方面問(wèn)題，視頻運(yùn)動(dòng)分析和高層語(yǔ)義特征提取，分別進(jìn)行了討論并提出了新的相關(guān)算法。 視頻運(yùn)動(dòng)分析是將光流場(chǎng)(0FF)或運(yùn)動(dòng)向量場(chǎng)(MVF)的特征

4、映射到具體的運(yùn)動(dòng)類型。運(yùn)動(dòng)類型是從時(shí)間域描述視頻內(nèi)容，反映視頻語(yǔ)義。傳統(tǒng)的視頻運(yùn)動(dòng)分析假設(shè)物體運(yùn)動(dòng)或者是相機(jī)運(yùn)動(dòng)主導(dǎo)了視頻運(yùn)動(dòng)，在分析此種假設(shè)不合理的基礎(chǔ)之上，我們闡述了判斷視頻運(yùn)動(dòng)起因的必要性和可能性，提出了新的視頻運(yùn)動(dòng)分析框架，并給出了一種利用運(yùn)動(dòng)向量相互關(guān)系判斷運(yùn)動(dòng)起因的算法。 高層語(yǔ)義特征提取是將底層物理特征映射到高層語(yǔ)義特征。視頻局部高層語(yǔ)義特征，即物體特征，描述的是圖像幀中的物體，是圖像幀的一個(gè)局部。考慮到物體本身以