應(yīng)用于視頻內(nèi)容分析的話者辨識系統(tǒng).pdf

1、隨著多媒體、互聯(lián)網(wǎng)、大容量存儲等技術(shù)的不斷發(fā)展，數(shù)字化視頻開始進入人們的日常生活。為發(fā)揮海量視頻數(shù)據(jù)的資源共享優(yōu)勢，支持視頻非線性編輯、語義理解和高效檢索，完善和發(fā)展視頻內(nèi)容分析技術(shù)迫在眉睫。 經(jīng)過早期基于圖像信息的研究，越來越多的研究者發(fā)現(xiàn)由于機器視覺和模式識別的發(fā)展限制，自動提取視頻的語義是比較困難的。音頻作為視頻文檔中包含的另外一種類型時間媒體，是一種可為視覺信息提供重要補充的信息源。音頻流所包含的語義信息往往比圖像流豐富

2、，提取語義信息也更加直觀方便。因此，基于音頻的視頻內(nèi)容分析技術(shù)，近年來已逐漸成為基于內(nèi)容多媒體檢索和過濾研究的熱點。 本文提出了一種應(yīng)用于視頻內(nèi)容分析的話者辨識系統(tǒng)。相對于通用的話者辨識系統(tǒng)，論文研究考慮以下幾點：首先，從視頻數(shù)據(jù)中提取的音頻流中不僅包含靜音和語音，還包括音樂和背景音；其次，視頻內(nèi)容中的話者數(shù)目無法預(yù)先得知，系統(tǒng)也無法直接獲得用來訓(xùn)練話者模型的純凈的話者數(shù)據(jù)；最后，視頻內(nèi)容中大量存在的各種噪聲將加劇訓(xùn)練數(shù)據(jù)和測試

3、數(shù)據(jù)的失配，嚴重影響話者辨識系統(tǒng)的性能。 基于上述實際系統(tǒng)中的考慮，本文提出的應(yīng)用于視頻內(nèi)容分析的話者辨識系統(tǒng)架構(gòu)主要包括：基于規(guī)則和支持向量機的音頻分類與分割；基于譜聚類的話者聚類和基于高斯混合模型的話者辨識；基于譜減法的語音增強。 圍繞應(yīng)用于視頻內(nèi)容分析的話者辨識系統(tǒng)，本文的主要工作包括： (1)本文對話者辨識的原理和算法進行了深入的研究和分析，實現(xiàn)了基于高斯混合模型的話者辨識，驗證了該方法在應(yīng)用于視頻內(nèi)容分

4、析的話者辨識系統(tǒng)中的有效性。 (2)SVM是建立在VC維，泛化性能和推廣能力之上的一種理論，對SVM中的相關(guān)概念(支持向量、核函數(shù)等)進行了介紹。根據(jù)本文中實際系統(tǒng)的考慮，提出并實現(xiàn)了基于三個支持向量機的分類器架構(gòu)，驗證了該架構(gòu)的可用性。 (3)本文對語音增強的原理和算法進行了分析和比較，實現(xiàn)了譜減法在應(yīng)用于視頻內(nèi)容分析的話者辨識系統(tǒng)中的應(yīng)用，驗證了方法的可用性。 實驗數(shù)據(jù)來源于新聞視頻、訪談視頻和電影視頻。實驗