基于TDOA的聲源定位及與視頻信息融合的研究.pdf

1、對(duì)說(shuō)話人進(jìn)行定位與跟蹤已成為人機(jī)交互研究中的重要課題。它可以應(yīng)用于多媒體系統(tǒng)、視頻會(huì)議系統(tǒng)、視頻監(jiān)控系統(tǒng)以及智能機(jī)器人系統(tǒng)等。由于在實(shí)際環(huán)境中通常存在較高的噪聲和嚴(yán)重混響，基于音頻信息進(jìn)行說(shuō)話人定位與跟蹤是一個(gè)極具挑戰(zhàn)性的課題。本文主要研究一種魯棒的方法利用音頻信息對(duì)話者定位以及聯(lián)合音視頻信息對(duì)說(shuō)話人進(jìn)行跟蹤。
　　 本文首先介紹估計(jì)麥克風(fēng)對(duì)之間的延時(shí)(TDOA)的經(jīng)典方法以及在多麥克風(fēng)對(duì)基礎(chǔ)上基于多信道互相關(guān)系數(shù)的延時(shí)估計(jì)法。

2、由于在實(shí)際情況中噪聲以及混響的影響，傳統(tǒng)的TDOA估計(jì)方法經(jīng)常失效。對(duì)語(yǔ)音信號(hào)進(jìn)行分幀處理發(fā)現(xiàn)，短時(shí)的語(yǔ)音信號(hào)可以分為有效幀與無(wú)效幀。本文提出對(duì)圓形麥克風(fēng)陣列各扇區(qū)活躍值進(jìn)行概率建模，從而估計(jì)出語(yǔ)音信號(hào)的有效幀。在所獲得的有效幀的基礎(chǔ)上提出一種基于TDOA估計(jì)的魯棒RANSAC算法對(duì)說(shuō)話人進(jìn)行定位。與傳統(tǒng)算法相比，論文提出的方法在音頻定位的魯棒性和精度方面得到較大的提高。本文進(jìn)一步介紹了利用視頻信息使用均值漂移(Mean Shift)進(jìn)