音視頻聯(lián)合說話人定位與跟蹤方法研究.pdf

1、說話人定位與跟蹤是人機(jī)交互研究中的重要課題，在視頻會(huì)議系統(tǒng)、多媒體系統(tǒng)以及機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用。通常，基于計(jì)算機(jī)視覺的人臉或人體跟蹤方法與基于計(jì)算機(jī)聽覺的聲源定位方法都可作為解決說話人定位與跟蹤問題的基本手段。然而，這些單模態(tài)的定位與跟蹤方法難以適應(yīng)復(fù)雜的動(dòng)態(tài)環(huán)境，人臉跟蹤方法容易受到視頻遮擋以及光照、姿態(tài)變化等因素的影響，而背景噪聲與房間混響則制約著聲源定位方法的性能。因此，采用信息融合技術(shù)對(duì)說話人的音視頻雙模態(tài)信息進(jìn)行處理，則

2、成為提高說話人定位與跟蹤系統(tǒng)精度與魯棒性的重要手段。 音視頻聯(lián)合說話人定位與跟蹤是計(jì)算機(jī)聽覺與計(jì)算機(jī)視覺相互融合的一個(gè)重要方向，其目的是綜合利用說話人的音頻與視頻信息來估計(jì)說話人的空間位置。本文對(duì)音視頻聯(lián)合說話人定位與跟蹤問題進(jìn)行了深入研究，取得的研究成果如下： (1)將多傳感器信息融合技術(shù)用于說話人定位與跟蹤問題，提出了一種基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的音視頻聯(lián)合說話人定位與跟蹤方法。在動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)框架中，該方法分別采用麥克風(fēng)

3、陣列聲源定位、基于膚色的人臉跟蹤以及音視頻互信息最大化三種感知方式獲取與說話人位置相關(guān)的測(cè)量信息；然后采用粒子濾波對(duì)這些信息進(jìn)行融合，通過貝葉斯推理實(shí)現(xiàn)說話人的有效跟蹤；并運(yùn)用信息熵理論對(duì)三種感知方式進(jìn)行動(dòng)態(tài)管理，以提高跟蹤系統(tǒng)的實(shí)時(shí)性。 (2)將加權(quán)子空間擬合算法應(yīng)用于麥克風(fēng)陣列聲源定位問題，提出一種寬帶加權(quán)子空間擬合聲源定位方法。該方法在貝葉斯估計(jì)理論框架下，結(jié)合語音信號(hào)的寬帶特性，構(gòu)造了一個(gè)適用于語音信號(hào)的目標(biāo)函數(shù)，采用粒

4、子濾波對(duì)該目標(biāo)函數(shù)進(jìn)行全局優(yōu)化，從而有效地確定聲源的空間位置。 (3)綜合考慮語音建立信號(hào)與說話人運(yùn)動(dòng)模型在抑制房間混響中的作用，提出一種基于分層采樣粒子濾波的麥克風(fēng)陣列聲源跟蹤方法。在實(shí)際的中小型房間環(huán)境中，由于墻壁、地面、桌面的反射作用，麥克風(fēng)陣列接收到的語音信號(hào)中通常含有混響成分，從而影響聲源定位與跟蹤系統(tǒng)的性能?；诜謱硬蓸恿Ｗ訛V波的聲源跟蹤方法從語音信號(hào)中提取出無混響的建立信號(hào)，將其作為觀測(cè)信息來計(jì)算麥克風(fēng)陣列波束形成