語(yǔ)音信號(hào)動(dòng)態(tài)特征分析及其可視化的關(guān)鍵技術(shù)研究.pdf

1、語(yǔ)音信息的傳遞是人們之間交流最方便、最自然的手段。一部分聾啞人不能說(shuō)話是因?yàn)樗麄兊穆?tīng)覺(jué)器官遭到損壞，不能將語(yǔ)音信息采集到大腦，但發(fā)音器官是完好的。這種情況下的聾啞人，如果輔助于一些視覺(jué)訓(xùn)練系統(tǒng)，經(jīng)過(guò)一段時(shí)間的專(zhuān)門(mén)訓(xùn)練，是可以學(xué)會(huì)說(shuō)話并和健全人進(jìn)行交流。對(duì)這種將語(yǔ)音信息轉(zhuǎn)換為可以用視覺(jué)識(shí)別圖像的輔助聾啞人語(yǔ)音訓(xùn)練系統(tǒng)自上世紀(jì)六十年代中期以來(lái)國(guó)內(nèi)外都有很多研究，但到目前為止這些系統(tǒng)大多采用單一的語(yǔ)音特征表示方法，不僅識(shí)別率不高，而且顯示的信

2、息過(guò)于專(zhuān)業(yè)化，不宜為聾啞人理解接受。本文著眼于研究語(yǔ)音生成和感知的機(jī)理，特別是語(yǔ)音生成和感知在大腦中的信息傳遞和處理方式，利用現(xiàn)有技術(shù)（小波變換、聽(tīng)覺(jué)模型、神經(jīng)元網(wǎng)絡(luò)和流行學(xué)習(xí)方法等）在語(yǔ)音分析方面的優(yōu)勢(shì)，提出一種語(yǔ)音在大腦感知系統(tǒng)中的參數(shù)描述，并以圖形形式進(jìn)行顯示的一種新的語(yǔ)音識(shí)別方法。該方法與傳統(tǒng)語(yǔ)音識(shí)別方法相比，原理易于理解，計(jì)算量??；同時(shí)又試圖證實(shí)語(yǔ)音（至少是元音）的感知過(guò)程是一個(gè)簡(jiǎn)單的拓?fù)溆成洹Ｗ罱K形成的圖形易于識(shí)別，只需要進(jìn)

3、行簡(jiǎn)單的訓(xùn)練，利用聾啞人大腦自身反饋和極強(qiáng)的視覺(jué)補(bǔ)償功能，即可進(jìn)行語(yǔ)音的辨識(shí)。本文的創(chuàng)新點(diǎn)如下：
　　 (1)詳盡闡述了傳統(tǒng)語(yǔ)音識(shí)別技術(shù)和輔助聾啞人語(yǔ)音訓(xùn)練技術(shù)的研究現(xiàn)狀，并通過(guò)對(duì)語(yǔ)音生成和感知機(jī)理的系統(tǒng)研究，論證了將人類(lèi)的語(yǔ)音信號(hào)轉(zhuǎn)化為視覺(jué)信息的可行性和適用性；同時(shí)對(duì)現(xiàn)階段在語(yǔ)音分析領(lǐng)域中使用的各種語(yǔ)音圖譜及可視化方法進(jìn)行了較為深入的研究和探討，分析了這些方法各自的原理、應(yīng)用范圍、優(yōu)點(diǎn)和不足；最后在簡(jiǎn)要闡述傳統(tǒng)手工語(yǔ)音信號(hào)的特

4、征提取方法（包括LPCC、MFCC和PLP等等）的基礎(chǔ)上，基于神經(jīng)元網(wǎng)絡(luò)和流行學(xué)習(xí)方法的基本原理，提出了語(yǔ)音信號(hào)自動(dòng)特征提取的概念和方法。
　　 (2)提出了一種新的語(yǔ)音信號(hào)可視化方法，該方法利用基于小波理論(WT)的多分辨率思想，建立聽(tīng)覺(jué)模型濾波器組來(lái)對(duì)聽(tīng)覺(jué)系統(tǒng)進(jìn)行模擬，克服了傳統(tǒng)語(yǔ)音分析方法(STFT)對(duì)高、低頻段具有相同的時(shí)間分辨率和頻率分辨率的缺點(diǎn)，這種特性十分接近人耳對(duì)聲音信號(hào)的感知。對(duì)經(jīng)過(guò)小波變換濾波后的語(yǔ)音信號(hào)進(jìn)行

5、特征編碼形成語(yǔ)音的組合特征，將該組合特征作為一個(gè)新的特征量來(lái)表示和反映語(yǔ)音的特征規(guī)律；并將這種特征用簡(jiǎn)單的圖形表示出來(lái)，利用聾啞人自身的大腦來(lái)識(shí)別語(yǔ)音，在一定程度上實(shí)現(xiàn)了語(yǔ)音變圖像的設(shè)想。
　　 (3)創(chuàng)建并描述了一種基于時(shí)間自組織映射網(wǎng)絡(luò)(TSOM)的語(yǔ)音可讀模式。在自組織映射網(wǎng)絡(luò)( SOM)基礎(chǔ)上，引進(jìn)了時(shí)間增強(qiáng)機(jī)制來(lái)提高系統(tǒng)性能。該方法彌補(bǔ)了原自組織映射網(wǎng)絡(luò)固定的空間拓?fù)浣Y(jié)構(gòu)和忽視了時(shí)間因素（對(duì)于語(yǔ)音信號(hào)至關(guān)重要）的缺陷。

6、時(shí)間自組織映射網(wǎng)絡(luò)(TSOM)方法對(duì)隨時(shí)間變化的語(yǔ)音譜的可視化尤其有效，連續(xù)短時(shí)譜形成了二維映射平面上的一條軌跡并且隨時(shí)間的變化可以觀測(cè)到語(yǔ)音信號(hào)的動(dòng)態(tài)變化規(guī)律。
　　 (4)提出了一種基于時(shí)間線性嵌入(TLE)的語(yǔ)音信號(hào)可視化方法。局部線性嵌入方法(LLE)是一種進(jìn)行特征提取的無(wú)人監(jiān)督的學(xué)習(xí)算法，特征提取的目的就是在降低語(yǔ)音信號(hào)特征維數(shù)的同時(shí)保留語(yǔ)音信號(hào)的大部分關(guān)鍵信息。如果語(yǔ)音變量可以由一小部分連續(xù)特征來(lái)描述的話，我們可以把

7、語(yǔ)音數(shù)據(jù)看作是嵌入在所有可能波形的高維空間中的低維流形。本文將流形學(xué)習(xí)算法運(yùn)用在語(yǔ)音數(shù)據(jù)處理中，詳細(xì)分析并討論了局部線性嵌入(LLE)的基本算法和局限性；在此基礎(chǔ)上提出了基于時(shí)間線性嵌入(TLE)的改進(jìn)算法，盡可能從高維的語(yǔ)音信號(hào)中提取出有用的低維結(jié)構(gòu)。該算法在低維空間中分離元音的能力得到了評(píng)價(jià)并與經(jīng)典的線性降維方法(PCA)進(jìn)行了比較；結(jié)果表明流形學(xué)習(xí)算法在低維空間優(yōu)于經(jīng)典方法并能發(fā)現(xiàn)語(yǔ)音數(shù)據(jù)有用的流形結(jié)構(gòu)。
　　 (5)提出