智能環(huán)境下基于音頻視頻信息融合的多說話人跟蹤.pdf

1、人類大腦能夠?qū)碜愿鱾€(gè)感官的多源傳感信息進(jìn)行融合加工，幫助人們?cè)趶?fù)雜的環(huán)境下準(zhǔn)確跟蹤和識(shí)別事物。在智能會(huì)議環(huán)境中，對(duì)說話人進(jìn)行跟蹤是人機(jī)交互的一個(gè)重大研究課題，如何借鑒大腦的融合機(jī)理，利用多模態(tài)傳感信息，有效融合同源說話人的語音信息和視頻圖像信息，從而達(dá)到魯棒準(zhǔn)確的跟蹤效果，已成為異類信息融合的一個(gè)研究熱點(diǎn)。
　　 本文在充分總結(jié)和探討多源信息融合、視頻跟蹤、聲源定位及濾波算法的研究現(xiàn)狀和基本理論的基礎(chǔ)上，提出了兩種基于多源信息

2、融合的人物跟蹤算法。一種是基于多視頻特征信息融合的多人物跟蹤，另一種是基于音頻視頻信息融合的說話人跟蹤。多視頻特征信息融合的多人物跟蹤系統(tǒng)，它是利用膚色抗旋轉(zhuǎn)和抗遮擋的特性，通過顏色直方圖給出了顏色似然模型；并利用輪廓信息能夠較好的反映目標(biāo)形狀的特性，通過邊緣梯度搜索策略給出了輪廓似然模型；最后在粒子濾波框架下，融合顏色信息和輪廓信息來跟蹤多個(gè)人物。在音頻視頻信息融合的說話入跟蹤系統(tǒng)中，結(jié)合同源說話人語音和視頻圖像之間的互補(bǔ)性，利用麥克

3、風(fēng)時(shí)延的聲源定位和均值漂移膚色跟蹤，分別建立音頻模型和視頻模型，以重要性粒子濾波為工具，建立融合似然模型和融合重要性函數(shù)，從中產(chǎn)生粒子并進(jìn)行濾波跟蹤。同時(shí)，采用流程化的閉壞處理框架，并在跟蹤過程中引入反饋環(huán)節(jié)，提高跟蹤的準(zhǔn)確性和完整性。仿真實(shí)驗(yàn)表明，上述信息融合跟蹤算法是可行的?；诙嘁曨l特征信息融合的多人物跟蹤算法對(duì)光照及背景變化等干擾都具有一定的魯棒性?；谝纛l視頻信息融合的說話人跟蹤算法可以準(zhǔn)確跟蹤到會(huì)議中的主要發(fā)言人，在人物交錯(cuò)