基于Kinect的特定說話人跟蹤系統(tǒng)的研究與實現(xiàn).pdf

1、說話人跟蹤在視頻會議、多媒體系統(tǒng)、智能監(jiān)控、人機交互、機器人等領(lǐng)域具有重要的研究意義和廣泛的應(yīng)用價值。聲源定位技術(shù)常被用來作為說話人跟蹤的基本手段，然而聲源定位技術(shù)容易受到混響、噪聲的影響，并且當環(huán)境中存在多個說話人時會使說話人跟蹤產(chǎn)生偏差。Kinect由四個麥克風組成的直線型陣列能夠有效抑制噪聲和消除回音，本學位論文利用Kinect傳感器接收和處理說話人的語音信號，采用基于波束形成算法實現(xiàn)說話人跟蹤。多說話人的環(huán)境下，加入說話人的聲紋

2、特征，對特定說話人的身份進行仔細確認后，再實現(xiàn)實時跟蹤。
　　首先，針對多說話人環(huán)境，選用基于高斯混合模型-通用背景模型(Gaussianmixture model-Universal Background Model，GMM-UBM)的說話人確認方法對說話人進行身份認證。該方法先提取出模仿人耳聽覺特性的聲紋特征參數(shù)—梅爾倒譜系數(shù)(Mel Frequency Cepstral Coefficients，MFCC)，然后將GMM-U

3、BM模型作為說話人確認的訓練模型，測試階段將測試語音與訓練得到的說話人模型進行匹配，匹配得分與預(yù)先設(shè)置的閾值進行比較，最終給出判斷結(jié)果。
　　其次，采用自適應(yīng)波束形成算法實現(xiàn)聲源的定位，解決了Kinect麥克風陣元較少情況下的說話人聲源定位問題。
　　最后，設(shè)計了特定說話人跟蹤系統(tǒng)，主要包括三個功能模塊:音頻采集與處理模塊、說話人確認模塊和定位跟蹤模塊。利用Kinect for Windows SDKv1.8和Open CV

4、以及tsVPR說話人確認引擎等工具包，對這三個模塊進行了設(shè)計及實現(xiàn)。最終根據(jù)獲取到的特定說話人的方位角，實現(xiàn)了特定說話人的定位跟蹤功能。
　　實驗結(jié)果表明，本文設(shè)計和實現(xiàn)的特定說話人跟蹤系統(tǒng)，采用自適應(yīng)波束形成技術(shù)能夠準確地定位特定說話人的方位。在理想環(huán)境和單一特定說話人情況下平均定位準確率為93.3％，方位角的均方根誤差(Root mean square error，RMSE)為6.4，在理想環(huán)境和多人情況下平均定位準確率為89