基于DSP的說話人定位跟蹤系統(tǒng)的設(shè)計.pdf

1、隨著科學(xué)技術(shù)的快速發(fā)展，基于DSP技術(shù)的音視頻信號處理成為了學(xué)術(shù)研究中的一個重要課題。其中，音頻或視頻技術(shù)對目標(biāo)說話人的檢測、定位和跟蹤日趨成為研究的一個重點。它在視頻監(jiān)控、視頻會議，多媒體系統(tǒng)中都有著越來越廣泛的應(yīng)用。但由于單模態(tài)視頻在進(jìn)行工作時，可能會因為光線不足導(dǎo)致視頻的定位跟蹤不準(zhǔn)確，或是失效；同樣地，單一的音頻技術(shù)對于目標(biāo)說話人的定位與跟蹤，也可能因為較大的噪聲或混響而產(chǎn)生性能的降低。針對出現(xiàn)的這一問題，音視頻融合技術(shù)應(yīng)運而生

2、。本文主要研究的是利用一種魯棒的方法由音視頻融合信息對目標(biāo)說話人進(jìn)行定位與跟蹤，并通過硬件平臺進(jìn)行實現(xiàn)。
　　 論文首先對硬件平臺及選取進(jìn)行了介紹，并搭建了帶有DM6437處理芯片并基于達(dá)芬奇(DaVinci)技術(shù)的DSP硬件實驗平臺，為之后語音和視頻信息的處理及融合提供了良好的硬件環(huán)境的支持；其次，對音頻信號時延估計方法所用模型及算法做了深入的介紹，最終采用一種基于坐標(biāo)系變換的空間聲源定位方法對目標(biāo)進(jìn)行音頻定位。通過建立一個特

3、定坐標(biāo)系，將原有坐標(biāo)系中的任意4個麥克風(fēng)陣列坐標(biāo)轉(zhuǎn)換為新坐標(biāo)中的3個特定點和一個任意點的坐標(biāo)，并進(jìn)行聲源坐標(biāo)的計算。此方法與傳統(tǒng)的延時估計算法相比，有效的提高了定位的準(zhǔn)確度，并且在坐標(biāo)轉(zhuǎn)換之后使得運算量得到很大程度的簡化。
　　 之后，介紹卡爾曼濾波器及均值漂移(Mean Shift)算法在視頻信息中的應(yīng)用。實驗驗證各自方法的優(yōu)缺點，并提出了使用卡爾曼濾波器結(jié)合均值漂移算法對目標(biāo)進(jìn)行視頻跟蹤的方法，且通過實際操作證明該方法的魯棒

4、性。通過對硬件視頻子系統(tǒng)(VPSS)中3個主要寄存器(CCDC、OSD和VENC)及TVP5146寄存器的設(shè)置，實現(xiàn)經(jīng)過芯片DM6437處理并在硬件平臺上進(jìn)行的視頻采集與顯示的功能。
　　 最后，本文利用卡爾曼濾波器融合音頻及視頻信息，并將程序刻寫入硬件開發(fā)板，使之能獨立運用音視頻融合方法完成對目標(biāo)說話人進(jìn)行定位與跟蹤。其優(yōu)點在于綜合了視覺與聽覺信息，降低單模態(tài)信息固有存在的不足在目標(biāo)定位跟蹤時產(chǎn)生的誤差，使兩個模態(tài)信息能夠彼此