基于粒子濾波的音視頻聯(lián)合單說話人跟蹤.pdf

1、說話人跟蹤問題是實(shí)現(xiàn)人機(jī)交互的一個(gè)重要研究課題，針對(duì)基于單模態(tài)單特征的說話人跟蹤算法魯棒性差，定位精度低的問題，本文研究了一種基于雙模態(tài)的說話人跟蹤方法，充分利用音頻信息和視頻信息的互補(bǔ)性和冗余性，實(shí)現(xiàn)復(fù)雜環(huán)境下說話人魯棒而精確的跟蹤。本文深入研究了音視頻聯(lián)合的說話人跟蹤問題，取得了以下的研究成果:
　　 (1)考慮到單一音頻特征定位精度低和魯棒性差的問題，采用一種基于到達(dá)時(shí)間差和波束輸出能量聯(lián)合定位說話人的兩步定位方法。線性麥

2、克風(fēng)陣列中，先采用到達(dá)時(shí)間差特征進(jìn)行聲源的粗定位，獲得聲源的最大似然空間，之后進(jìn)行細(xì)定位，引導(dǎo)波束輸出在該似然空間內(nèi)搜索能量最大的位置，并將該位置作為聲源的最佳估計(jì)位置。
　　 (2)將D-S理論應(yīng)用于視頻多特征融合問題，設(shè)計(jì)一種基于改進(jìn)D-S理論的視頻多特征融合方法。本文先從證據(jù)源的可靠性和沖突分配兩個(gè)角度改進(jìn)了標(biāo)準(zhǔn)D-S理論，使其能適合說話人跟蹤系統(tǒng)實(shí)際環(huán)境，之后，在粒子濾波的框架下，采用改進(jìn)的D-S理論先融合每個(gè)攝像頭的顏