聲音事件識(shí)別中的有效特征提取方法研究.pdf

1、近些年來，作為聲音識(shí)別中的一個(gè)新興的研究方向，“聲音事件識(shí)別”因其廣泛的應(yīng)用前景，越來越受到研究學(xué)者們的關(guān)注。通過對(duì)聲音事件，例如敲門聲、掌聲、腳步聲，甚至鳥鳴聲等，進(jìn)行識(shí)別，能夠感知所處的環(huán)境，并偵測(cè)出其發(fā)生的變化。因此，聲音事件識(shí)別可以用于無人看守的安全監(jiān)管、醫(yī)療救助，以及機(jī)器的智能化，同時(shí)也為實(shí)現(xiàn)更好的人機(jī)交互體驗(yàn)提供了可能。
　　一方面，在幾十年的發(fā)展過程中，研究學(xué)者們針對(duì)聲音事件的識(shí)別任務(wù)，提出了一系列的特征提取方法和相

2、應(yīng)的識(shí)別系統(tǒng)，取得了突飛猛進(jìn)的發(fā)展和進(jìn)步。另一方面，隨著人工智能技術(shù)的不斷發(fā)展和突破，作為深度學(xué)習(xí)理論內(nèi)容的一部分，深層神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的信息抽取和建模能力，在模式識(shí)別，自動(dòng)控制，智能機(jī)器等諸多領(lǐng)域取得了顯著的成就，尤其是在語音識(shí)別，圖像理解等領(lǐng)域獲得了突飛猛進(jìn)的性能提升。目前聲音事件識(shí)別系統(tǒng)在噪聲環(huán)境較弱的情況下，識(shí)別效果很理想。但受聲音事件自身特性的影響，隨著噪聲強(qiáng)度的不斷增加，相應(yīng)的識(shí)別效果普遍較差，未能取得令人滿意的識(shí)別性能。<

3、br>　　為此，本文研究的重點(diǎn)和方向是，利用深層神經(jīng)網(wǎng)絡(luò)強(qiáng)大的對(duì)于信息提取和特征抽象的能力，提出能夠?qū)?fù)雜噪聲魯棒的有效特征表示方法，進(jìn)一步提升聲音事件識(shí)別系統(tǒng)在噪聲環(huán)境下的識(shí)別效果。主要包括以下幾個(gè)方面內(nèi)容:
　　首先，提出了一種時(shí)頻域非線性降采樣的特征表示方法。由于傳統(tǒng)的二維頻譜圖特征同時(shí)包含有時(shí)、頻域的信息，為了使得到的頻譜圖特征具有更強(qiáng)的可區(qū)分性，本文提出了一種數(shù)據(jù)驅(qū)動(dòng)式的時(shí)域和頻域非線性降采樣策略。頻域上，通過分析噪聲和

4、不同種類的聲音事件在不同頻段上分布的差異性信息，確定相應(yīng)的非線性降采樣邊界，對(duì)頻譜圖進(jìn)行頻域的非線性降采樣。另一方面，在時(shí)域上，利用斐波那契數(shù)列來獲取頻譜圖中不同長(zhǎng)短的時(shí)域幀信息，并進(jìn)行非線性降采樣的操作。經(jīng)過上述不同非線性降采樣操作后得到的特征，將被送入相應(yīng)的深層神經(jīng)網(wǎng)絡(luò)中進(jìn)一步提取高層的抽象信息，并最終用來對(duì)聲音事件進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，利用頻域方差非線性映射的特征表示方法，能獲得較優(yōu)的性能提升，特別是在強(qiáng)噪聲的環(huán)境下。
　

5、　其次，提出了一種基于神經(jīng)網(wǎng)絡(luò)的譜圖時(shí)頻域融合的特征表示方法。在將耳蝸圖特征引入聲音事件識(shí)別的基礎(chǔ)上，嘗試?yán)蒙顚由窠?jīng)網(wǎng)絡(luò)對(duì)兩種不同的時(shí)頻二維特征圖進(jìn)行拼接和融合，獲得更有效的特征表示方法?；诓煌纳窠?jīng)網(wǎng)絡(luò)，提出了兩種不同的特征融合策略，即文中提出的“雙通道特征融合”和“底層特征融合”。其中，雙通道的特征融合方法利用了卷積神經(jīng)網(wǎng)絡(luò)的特殊結(jié)構(gòu)，將頻譜圖和耳蝸圖同時(shí)送入卷積神經(jīng)網(wǎng)絡(luò)的不同通道中，經(jīng)過卷積操作后再進(jìn)行特征的拼接;而底層特征融

6、合的方法是，在將不同譜圖特征送入神經(jīng)網(wǎng)絡(luò)之前就進(jìn)行拼接融合。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，經(jīng)過特征融合后的系統(tǒng)性能有顯著的提升，且基于卷積神經(jīng)網(wǎng)絡(luò)的底層特征融合的系統(tǒng)性能更優(yōu)。
　　最后，在前兩部分研究的基礎(chǔ)上，提出了基于神經(jīng)網(wǎng)絡(luò)的譜圖多分辨融合的特征表示方法。從綜合利用譜圖信息的局部和全局特征的角度出發(fā)，同樣采用上述兩種不同的特征融合策略，對(duì)不同分辨率的譜圖特征進(jìn)行拼接融合。為了獲取不同分辨率信息的譜圖特征，我們采用不同的窗長(zhǎng)和窗移對(duì)原始的音頻