基于粒子濾波的音視頻聯(lián)合單說話人跟蹤.pdf

1、說話人跟蹤問題是實現(xiàn)人機交互的一個重要研究課題，針對基于單模態(tài)單特征的說話人跟蹤算法魯棒性差，定位精度低的問題，本文研究了一種基于雙模態(tài)的說話人跟蹤方法，充分利用音頻信息和視頻信息的互補性和冗余性，實現(xiàn)復雜環(huán)境下說話人魯棒而精確的跟蹤。本文深入研究了音視頻聯(lián)合的說話人跟蹤問題，取得了以下的研究成果:
　　 (1)考慮到單一音頻特征定位精度低和魯棒性差的問題，采用一種基于到達時間差和波束輸出能量聯(lián)合定位說話人的兩步定位方法。線性麥

2、克風陣列中，先采用到達時間差特征進行聲源的粗定位，獲得聲源的最大似然空間，之后進行細定位，引導波束輸出在該似然空間內(nèi)搜索能量最大的位置，并將該位置作為聲源的最佳估計位置。
　　 (2)將D-S理論應用于視頻多特征融合問題，設計一種基于改進D-S理論的視頻多特征融合方法。本文先從證據(jù)源的可靠性和沖突分配兩個角度改進了標準D-S理論，使其能適合說話人跟蹤系統(tǒng)實際環(huán)境，之后，在粒子濾波的框架下，采用改進的D-S理論先融合每個攝像頭的顏