基于內(nèi)容的視頻檢索中的音頻處理.pdf

1、隨著媒體數(shù)字化技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,人們的日常生活中所接觸到的數(shù)字視頻越來越多.相應(yīng)的,對(duì)數(shù)字視頻進(jìn)行分析和查找的需求也越來越迫切.因此,基于內(nèi)容的視頻處理和檢索已成為近年來多媒體處理、信息檢索以及數(shù)據(jù)管理研究領(lǐng)域的重要課題之一.視頻是由圖像和音頻組成的一個(gè)有機(jī)整體.經(jīng)過近些年的研究,越來越多的研究者發(fā)現(xiàn)從圖像中提取和分析視頻的語義是比較困難的.與此同時(shí),音頻流所包含的語義信息要比圖像流豐富,而且從音頻流中提取語義信息也更加直觀方便.因

2、此,音頻信息的提取和分析對(duì)基于內(nèi)容的視頻處理和檢索具有重要的意義.結(jié)合視頻本身的特點(diǎn),該文在傳統(tǒng)音頻處理方法的基礎(chǔ)上,討論了視頻處理和檢索系統(tǒng)中,提取、分析和利用音頻信息的算法和框架.其中,主要討論了三種音頻處理技術(shù):音頻類型識(shí)別、說話人信息分析和特殊音頻事件檢測(cè).視頻中包含豐富的音頻類型,將視頻根據(jù)音頻的類別進(jìn)行分割是在視頻中應(yīng)用音頻信息的基礎(chǔ)步驟.該文分析了不同音頻類型的產(chǎn)生機(jī)制以及它們?cè)诓煌纛l特征上的特點(diǎn),提出了一種基于最大熵模

3、型的音頻類型識(shí)別算法.該算法可以自動(dòng)地挑選對(duì)分類比較有效的特征.同時(shí),在復(fù)雜的音頻環(huán)境下,該算法的性能明顯優(yōu)于k近鄰、GMM和SVM等常用音頻類型識(shí)別算法.在現(xiàn)實(shí)的應(yīng)用中,人(特別是說話人)經(jīng)常是視頻處理和檢索的主要對(duì)象.該文歸納整理了視頻處理和檢索中說話人信息分析的框架,提出了一個(gè)基于混合高斯模型的近似KL距離的視頻說話人信息分析算法.該算法能夠有效地對(duì)視頻中出現(xiàn)的說話人進(jìn)行分割和聚類.視頻中的特殊音頻往往伴隨著視頻中某些特殊事件的發(fā)

4、生而出現(xiàn).對(duì)特殊音頻事件的檢測(cè)對(duì)于檢索視頻中的特殊事件具有重要意義.該文分別提出了基于基音頻率的歡呼聲檢測(cè)算法和基于頻譜能量分布的哨聲檢測(cè)算法.同時(shí),還詳細(xì)討論了一個(gè)基于事件的體育視頻索引算法.該算法利用視頻關(guān)聯(lián)分析融合了音頻特征和其他視頻特征,可以檢測(cè)出體育視頻中出現(xiàn)的事件,最終建立基于事件的體育視頻索引結(jié)構(gòu).除了上述三個(gè)主要應(yīng)用外,該文還對(duì)復(fù)旦大學(xué)參加TRECVID評(píng)測(cè)中用到的其他音頻處理方法進(jìn)行討論.實(shí)驗(yàn)結(jié)果表明,該文提到的部分算