音視頻聯(lián)合說話人定位與跟蹤方法研究.pdf

1、說話人定位與跟蹤是人機(jī)交互研究中的重要課題，在視頻會議系統(tǒng)、多媒體系統(tǒng)以及機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用。通常，基于計算機(jī)視覺的人臉或人體跟蹤方法與基于計算機(jī)聽覺的聲源定位方法都可作為解決說話人定位與跟蹤問題的基本手段。然而，這些單模態(tài)的定位與跟蹤方法難以適應(yīng)復(fù)雜的動態(tài)環(huán)境，人臉跟蹤方法容易受到視頻遮擋以及光照、姿態(tài)變化等因素的影響，而背景噪聲與房間混響則制約著聲源定位方法的性能。因此，采用信息融合技術(shù)對說話人的音視頻雙模態(tài)信息進(jìn)行處理，則

2、成為提高說話人定位與跟蹤系統(tǒng)精度與魯棒性的重要手段。 音視頻聯(lián)合說話人定位與跟蹤是計算機(jī)聽覺與計算機(jī)視覺相互融合的一個重要方向，其目的是綜合利用說話人的音頻與視頻信息來估計說話人的空間位置。本文對音視頻聯(lián)合說話人定位與跟蹤問題進(jìn)行了深入研究，取得的研究成果如下： (1)將多傳感器信息融合技術(shù)用于說話人定位與跟蹤問題，提出了一種基于動態(tài)貝葉斯網(wǎng)絡(luò)的音視頻聯(lián)合說話人定位與跟蹤方法。在動態(tài)貝葉斯網(wǎng)絡(luò)框架中，該方法分別采用麥克風(fēng)

3、陣列聲源定位、基于膚色的人臉跟蹤以及音視頻互信息最大化三種感知方式獲取與說話人位置相關(guān)的測量信息；然后采用粒子濾波對這些信息進(jìn)行融合，通過貝葉斯推理實(shí)現(xiàn)說話人的有效跟蹤；并運(yùn)用信息熵理論對三種感知方式進(jìn)行動態(tài)管理，以提高跟蹤系統(tǒng)的實(shí)時性。 (2)將加權(quán)子空間擬合算法應(yīng)用于麥克風(fēng)陣列聲源定位問題，提出一種寬帶加權(quán)子空間擬合聲源定位方法。該方法在貝葉斯估計理論框架下，結(jié)合語音信號的寬帶特性，構(gòu)造了一個適用于語音信號的目標(biāo)函數(shù)，采用粒

4、子濾波對該目標(biāo)函數(shù)進(jìn)行全局優(yōu)化，從而有效地確定聲源的空間位置。 (3)綜合考慮語音建立信號與說話人運(yùn)動模型在抑制房間混響中的作用，提出一種基于分層采樣粒子濾波的麥克風(fēng)陣列聲源跟蹤方法。在實(shí)際的中小型房間環(huán)境中，由于墻壁、地面、桌面的反射作用，麥克風(fēng)陣列接收到的語音信號中通常含有混響成分，從而影響聲源定位與跟蹤系統(tǒng)的性能?；诜謱硬蓸恿Ｗ訛V波的聲源跟蹤方法從語音信號中提取出無混響的建立信號，將其作為觀測信息來計算麥克風(fēng)陣列波束形成