視音頻信息融合算法研究.pdf

1、近年來，隨著計算機信息化進程的發(fā)展，越來越多的視頻設(shè)備以及技術(shù)應(yīng)用到人們的學(xué)習(xí)以及日常生活中。視頻會議、視頻搜索引擎技術(shù)以及視頻數(shù)據(jù)查詢等等技術(shù)的應(yīng)用，在包括電影、電視、會議記錄、科學(xué)文獻等眾多領(lǐng)域產(chǎn)生了大量的非文本數(shù)據(jù)。對于個人而言，個人攝影設(shè)備的普及，以及互聯(lián)網(wǎng)技術(shù)的改進，讓普通人發(fā)布個人拍攝視頻變得極其簡單，也因此產(chǎn)生了大量的視頻數(shù)據(jù)。如何處理如此眾多的多媒體信息，如何組織數(shù)據(jù)并對其建立索引進行檢索，對現(xiàn)有的視頻處理技術(shù)是個嚴峻考

2、驗。
　　 早期的多媒體信息檢索算法已經(jīng)偏離了便宜操作的最初目的，未來檢索算法的設(shè)計需要融合底層更多具有代表性的視覺、聽覺、語義特征。視頻信息的多模態(tài)性質(zhì)為信息融合提供了基礎(chǔ)?，F(xiàn)有的分析融合技術(shù)大多針對單一模態(tài)，但是視頻是具有多模態(tài)性質(zhì)的特殊數(shù)據(jù)，并且在描述同一主題時，其包含的多種模態(tài)具有很大關(guān)聯(lián)性。因此需要一種有效的方法對視頻進行融合分析，用于更加準確地對視頻進行分類和檢索。本文在處理視頻特征、融合視頻特征過程中的主要工作如下

3、：
　　 1、針對目前處理視頻數(shù)據(jù)的模型定義局限于新聞、廣告等特定領(lǐng)域，并且處理過程中使用的處理技術(shù)過于單一、陳舊，本文采用研究分析證明的一系列相對高效的視頻處理技術(shù)定義了一個相對完備的視頻檢索預(yù)處理模型。該模型利用視頻底層特征的多模態(tài)性質(zhì)，提取出視頻的時間結(jié)構(gòu)，然后對內(nèi)容進行特征提取，從原始視頻中構(gòu)造出視頻數(shù)據(jù)的子集。本文基于此過程提取出視頻的關(guān)鍵幀，并從視頻的音頻流中提取出音頻特征。
　　 為簡化運算，對提取出的底層

4、特征統(tǒng)一進行降維處理，本文采用的降維算法為Shuicheng Yan等人最新研究的——邊際fisher分析降維算法，該方法優(yōu)于目前通常采用的PCA、LDA等降維算法。根據(jù)得到的各種特征向量，利用魯棒性較好的支持向量機SVM分類器分類處理。
　　 2、在對基于多模態(tài)特征的分類結(jié)果進行融合時，提出了一種改進的MGR融合算法。依據(jù)特征向量經(jīng)分類器處理后輸出的樣本序號矩陣，基于Melnik等設(shè)計的融合框架，為實現(xiàn)置信度和優(yōu)先權(quán)的優(yōu)化，設(shè)