視頻多模態(tài)信息處理的關(guān)鍵技術(shù)研究.pdf

1、視覺(圖像序列)信息和聽覺(音頻)信息是構(gòu)成視頻的兩種主要信息模態(tài)。隨著計(jì)算機(jī)性能的重大突破和互聯(lián)網(wǎng)應(yīng)用的普及，視頻數(shù)據(jù)量劇增。為了充分有效地利用和發(fā)揮這些分布廣泛、內(nèi)涵信息豐富的視頻內(nèi)容的作用，視頻信息處理技術(shù)應(yīng)運(yùn)而生。視頻信息處理是智能信息處理的重要組成部分，它分為基于視頻數(shù)據(jù)的低層處理(對感興趣目標(biāo)的檢測、跟蹤和識別)和在此基礎(chǔ)上的高層(語義層)的行為判別、理解等研究內(nèi)容。視頻數(shù)據(jù)中包含視覺(圖像)和聽覺(音頻)兩種模態(tài)的信息，基

2、于視頻數(shù)據(jù)內(nèi)容的處理涉及對感興趣目標(biāo)的檢測、識別、跟蹤等關(guān)鍵技術(shù)。雖然已有眾多研究人員開展了大量相關(guān)的研究工作，取得了較多的實(shí)驗(yàn)性成果，然而這些技術(shù)距離實(shí)用化還有待深入研究。本文面向視頻監(jiān)控，以信號處理、圖像處理及模式分類等理論為基礎(chǔ)，針對視頻多模態(tài)信息處理中，關(guān)于聽覺信息處理的音頻流(語音流)檢測和話者識別及視覺信息處理中的運(yùn)動(dòng)目標(biāo)檢測、跟蹤等關(guān)鍵技術(shù)問題進(jìn)行了研究。論文主要研究內(nèi)容概括為四點(diǎn)：
　　 (1)提出了一種基于希爾

3、伯特變換的經(jīng)驗(yàn)?zāi)７纸夂透唠A統(tǒng)計(jì)量的語音流檢測算法。在提取語音流特征時(shí)小樣本的端點(diǎn)飛翼效應(yīng)問題一直是存在于信號的經(jīng)驗(yàn)?zāi)７纸庵械?。為解決這一問題，需要對端點(diǎn)進(jìn)行延拓處理，經(jīng)分析可知采用回歸支持向量機(jī)是一種可行的解決方案。但在采用SVRM方法時(shí)，又帶來了如何進(jìn)行參數(shù)選取的問題。為此。本文給出了微粒群優(yōu)化的參數(shù)選擇方法。既解決了端點(diǎn)延拓問題，最終又實(shí)現(xiàn)了視頻中的語音流的有效檢測問題。實(shí)驗(yàn)結(jié)果表明，提出的算法無論在高斯噪聲環(huán)境下，還是非高斯噪聲環(huán)

4、境下，對語音流的檢測都很有效，說明該方法的抗噪聲能力較強(qiáng)。
　　 (2)提出了一種分別以美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)為特征的多分類器融合的話者識別算法。MFCC對語音信號低頻段信息的表征能力十分強(qiáng)，但它又弱于表征語音的高頻段信息。為了提取能較全面表征語音信息的特征，本文經(jīng)分析后分別從語音信號中提取美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)作為語音片段的兩組不同的特征進(jìn)行分類器設(shè)計(jì)，最終應(yīng)用基于信息融合理論的方法，得出關(guān)于該語音段話者的雙分

5、類器的綜合判定結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的基于MFCC與IMFCC特征的多分類器融合的話者識別算法，比僅僅依靠其中之一的單一特征的分類算法性能更優(yōu)。
　　 (3)提出了一種基于顏色空間向量差法的運(yùn)動(dòng)目標(biāo)檢測算法。針對背景模型在實(shí)時(shí)更新時(shí)受環(huán)境噪聲影響大的問題，本文提出了采用自適應(yīng)K分布數(shù)混合高斯法進(jìn)行背景建模，利用EM迭代算法對背景模型進(jìn)行提取和更新，實(shí)驗(yàn)驗(yàn)證了方法的快速及有效性。針對基于灰度圖像的目標(biāo)檢測方法中對色彩信息的損

6、失問題，提出利用顏色空間向量差中長度和方向兩個(gè)屬性的統(tǒng)計(jì)特性，將運(yùn)動(dòng)目標(biāo)與噪聲進(jìn)行分類，對于運(yùn)動(dòng)模板中的孤立噪聲，借助數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行刪除，并對不完整運(yùn)動(dòng)目標(biāo)進(jìn)行修補(bǔ)完善。實(shí)驗(yàn)結(jié)果表明所提出算法的運(yùn)動(dòng)目標(biāo)檢測結(jié)果比較理想。
　　 (4)提出了一種基于歐式距離判斷的改進(jìn)的粒子濾波跟蹤算法。針對聯(lián)合多目標(biāo)概率密度算法在目標(biāo)狀態(tài)估計(jì)時(shí)計(jì)算量過大的問題，采用N個(gè)加權(quán)粒子的組合來近似聯(lián)合多目標(biāo)概率密度p(X，T|Z)的分布。提出了一種改

7、進(jìn)的粒子濾波算法，根據(jù)粒子對于不同目標(biāo)之間的歐式距離的大小，對粒子進(jìn)行獨(dú)立劃分或者關(guān)聯(lián)劃分，實(shí)現(xiàn)對同一視頻中的多個(gè)運(yùn)動(dòng)目標(biāo)的跟蹤。在室內(nèi)和室外兩種不同的環(huán)境中，實(shí)驗(yàn)結(jié)果表明該算法可以有效地對多目標(biāo)進(jìn)行跟蹤。
　　 上述四個(gè)創(chuàng)新點(diǎn)，按照其在文中給出的視頻多模態(tài)信息處理框架中所示的處理順序來加以研究。期望本文的研究成果，能為下一步的工作--在智能視頻監(jiān)控系統(tǒng)的實(shí)施中提供技術(shù)儲備，達(dá)到對視頻所反映的內(nèi)容--感興趣目標(biāo)的行為進(jìn)行自動(dòng)分析