流形降維方法在視頻內(nèi)容分析中的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)、網(wǎng)絡(luò)和數(shù)字化技術(shù)的發(fā)展和普及，網(wǎng)上多媒體數(shù)據(jù)量急劇增加，計(jì)算機(jī)自動(dòng)處理、分析、挖掘、檢索網(wǎng)上海量多媒體數(shù)據(jù)(特別是視頻數(shù)據(jù))已經(jīng)成為信息社會(huì)的迫切需求，視頻信息處理和內(nèi)容分析的研究迎來(lái)了巨大的發(fā)展機(jī)遇，也面臨著許多挑戰(zhàn)。 過(guò)去10多年來(lái)，人們?cè)阽R頭邊界檢測(cè)、場(chǎng)景分析、視頻摘要等許多方面取得很大研究進(jìn)展，主要成績(jī)有：研究了各種低級(jí)視覺(jué)特征(例如顏色、邊緣、紋理等)的提取方法和表示能力；采用了多種數(shù)學(xué)模型(例如隱馬爾科夫

2、模型HMM、高斯混合模型GMM等)進(jìn)行視頻內(nèi)容分析，以發(fā)現(xiàn)各種模型對(duì)視頻信息的建模和表達(dá)能力；探索了各種基于機(jī)器視覺(jué)、模式識(shí)別的方法，以發(fā)現(xiàn)更加有效的時(shí)空特征，以及更適合視頻特征提取與識(shí)別的方法。 在這些研究中，已經(jīng)有很多方法能夠進(jìn)入實(shí)際應(yīng)用，如鏡頭邊界檢測(cè)技術(shù)等。但是，在所取得的大量研究進(jìn)展之背后，我們還應(yīng)清楚地看到一些難以解決的問(wèn)題，例如涉及高層語(yǔ)義的場(chǎng)景分析問(wèn)題仍然沒(méi)有切實(shí)可行的解決方案，因?yàn)檎Z(yǔ)義鴻溝的存在，基于語(yǔ)義的視頻

3、內(nèi)容分析的研究尚無(wú)重大進(jìn)展。 近年來(lái)提出的一些非線性降維方法，例如流形降維方法，在視頻內(nèi)容分析中可能會(huì)發(fā)揮重要作用，因?yàn)樗芨玫亟沂倦[藏在觀察數(shù)據(jù)中的某些內(nèi)在規(guī)律，這是傳統(tǒng)線性方法(例如主分量分析PCA)無(wú)法做到的。 本文采用流形降維方法處理視頻內(nèi)容分析中兩個(gè)實(shí)際問(wèn)題：鏡頭邊界分類和場(chǎng)景分析。我們用一種流形降維方法即拉普拉斯特征映射來(lái)發(fā)現(xiàn)鏡頭邊界附近圖像序列的時(shí)域變化模式，用圖像序列在其低維流形空間的映射來(lái)表示鏡頭邊界

4、的特征，以期反映鏡頭邊界的本質(zhì)特性；同時(shí)，我們針對(duì)鏡頭邊界分類問(wèn)題的樣本不平衡特性，設(shè)計(jì)了一種樣本大小相關(guān)的KNN分類器，以學(xué)習(xí)每一種類型的鏡頭邊界的模式。實(shí)驗(yàn)表明，流形空間表示的圖像幀序列模式能很好地反映鏡頭內(nèi)容變化的本質(zhì)特性。 對(duì)于視頻場(chǎng)景分析，至今也沒(méi)有取得良好進(jìn)展，其主要原因是語(yǔ)義鴻溝問(wèn)題。本文提出了一種介于鏡頭和場(chǎng)景之間的結(jié)構(gòu)特征，它能在一定程度上刻畫類似場(chǎng)景的結(jié)構(gòu)信息，但又不涉及高層語(yǔ)義信息提取的難題。我們用拉普拉斯