會(huì)議室環(huán)境下基于音頻視頻信息融合的多說(shuō)話人識(shí)別.pdf

1、隨著傳感器技術(shù)的不斷發(fā)展和音視頻處理技術(shù)的不斷提高,利用音視頻融合方法進(jìn)行說(shuō)話人識(shí)別已經(jīng)成為當(dāng)前身份識(shí)別領(lǐng)域重要的技術(shù)手段。一個(gè)典型的應(yīng)用就是會(huì)議室環(huán)境下的說(shuō)話人識(shí)別。
　　 本文以AMI語(yǔ)料庫(kù)中的視聽(tīng)會(huì)議為仿真材料,利用音視頻融合的方法對(duì)會(huì)議過(guò)程中的多說(shuō)話人進(jìn)行了識(shí)別研究,具體工作如下:
　　 文章首先利用說(shuō)話長(zhǎng)度、說(shuō)話能量、說(shuō)話次數(shù)等單一特征以及上述特征的有效組合,對(duì)會(huì)議過(guò)程中的最主要說(shuō)話人進(jìn)行了識(shí)別。并對(duì)各項(xiàng)特征及

2、特征組合的有效性進(jìn)行了分析和排序。之后,實(shí)驗(yàn)利用嚴(yán)格和寬松兩種評(píng)判標(biāo)準(zhǔn),對(duì)會(huì)議中存在多位最主要說(shuō)話人的情況進(jìn)行了討論。
　　 接下來(lái),本文以ICSI RT07s說(shuō)話人識(shí)別系統(tǒng)為參考,設(shè)計(jì)了基于音頻信息的說(shuō)話人識(shí)別系統(tǒng)。在語(yǔ)音活動(dòng)檢測(cè)階段,實(shí)驗(yàn)運(yùn)用高斯混合模型為語(yǔ)音/非語(yǔ)音檢測(cè)器建模。與ICSI RT07s系統(tǒng)中基于隱馬爾可夫模型的語(yǔ)音/非語(yǔ)音檢測(cè)器相比,基于高斯混合模型的語(yǔ)音檢測(cè)器原理清晰、可擴(kuò)展性好,是本次研究的創(chuàng)新之處。之后

3、,實(shí)驗(yàn)對(duì)建模過(guò)程中涉及到的若干可調(diào)參數(shù)進(jìn)行了優(yōu)化,并運(yùn)用各項(xiàng)可調(diào)參數(shù)的最優(yōu)值完成了說(shuō)話人建模過(guò)程。
　　 在視頻識(shí)別階段,實(shí)驗(yàn)首先從數(shù)學(xué)原理出發(fā),比較了兩種幀問(wèn)差分算法的優(yōu)劣,并運(yùn)用效果較好的一種幀差法對(duì)視頻片段中面部活動(dòng)水平最大的參會(huì)人進(jìn)行了檢測(cè),將該參會(huì)人識(shí)別為會(huì)議中的晚話人。與國(guó)外基于MPEG視頻壓縮格式的檢測(cè)方法相比,本文的幀羞法可以在任何視頻格式下使用,是本次研究的另一個(gè)創(chuàng)新之處。
　　 在分別得到音頻和視頻識(shí)

4、別結(jié)果之后,本文通過(guò)貪心的匹配融合算法,對(duì)音頻和視頻識(shí)別結(jié)果進(jìn)行匹配關(guān)聯(lián),完成了不同模態(tài)下識(shí)別結(jié)果的融合。實(shí)驗(yàn)運(yùn)用58段同步的音視頻語(yǔ)料對(duì)融合算法的有效性進(jìn)行了測(cè)試。結(jié)果表明,隨著測(cè)試語(yǔ)料長(zhǎng)度的增加,識(shí)別準(zhǔn)確率也隨之增加。系統(tǒng)對(duì)于58段測(cè)試語(yǔ)料整體的識(shí)別率可達(dá)74.14％。
　　 與傳統(tǒng)的基于單模態(tài)信息的說(shuō)話人識(shí)別相比,利用信息融合手段進(jìn)行說(shuō)話人識(shí)別可以有效提高識(shí)別過(guò)程的持續(xù)性和魯棒性。當(dāng)一類信息受到干擾或發(fā)生遮擋時(shí),仍然可以利