數(shù)字語(yǔ)音處理及matlab仿真

1、數(shù)字語(yǔ)音處理及MATLAB仿真,太原理工大學(xué)信息工程學(xué)院 張雪英編著College of Information Engineering, Taiyuan University of Technology,,,2,課程總括,,課程性質(zhì),1,,課程目的和任務(wù),2,,課程重點(diǎn),3,,課程難點(diǎn),4,課程性質(zhì),語(yǔ)音信號(hào)處理是通信、電子信息專(zhuān)業(yè)的選修課程，主要用于現(xiàn)代通信和電子信息領(lǐng)域，其主要前修專(zhuān)業(yè)基礎(chǔ)課程為信號(hào)與系統(tǒng)和數(shù)字信號(hào)處理。,課程

2、目的和任務(wù),通過(guò)本課程的學(xué)習(xí)理解語(yǔ)音發(fā)聲和聽(tīng)覺(jué)機(jī)理及其數(shù)字模型；掌握語(yǔ)音信號(hào)處理的基本概念、原理和方法，為以后的學(xué)習(xí)提供理論依據(jù)；掌握語(yǔ)音信號(hào)的短時(shí)時(shí)域分析和頻域分析方法，并且能夠用Matlab語(yǔ)言編程實(shí)現(xiàn)對(duì)實(shí)際語(yǔ)音信號(hào)進(jìn)行的處理；熟悉語(yǔ)音信號(hào)處理的應(yīng)用領(lǐng)域，并了解該領(lǐng)域的新理論、新技術(shù)和發(fā)展趨勢(shì)，為今后的進(jìn)一步學(xué)習(xí)和工作打下堅(jiān)實(shí)的基礎(chǔ)。,課程重點(diǎn),語(yǔ)音信號(hào)的產(chǎn)生和語(yǔ)音信號(hào)數(shù)字模型。短時(shí)能量、平均過(guò)零率、自相關(guān)的意義，以及這些特征參量在

3、語(yǔ)音信號(hào)中的應(yīng)用，并且會(huì)用MATLAB實(shí)現(xiàn)。短時(shí)頻域分析的兩種解釋以及實(shí)現(xiàn)、LPC的基本原理以及與語(yǔ)音模型的關(guān)系、自適應(yīng)量化的PCM，自適應(yīng)預(yù)測(cè)編碼原理以及前饋和反饋的主要區(qū)別，另外增量調(diào)制中所造成的失真以及失真補(bǔ)償。矢量量化原理、LBG算法以及實(shí)驗(yàn)。,課程難點(diǎn),語(yǔ)音信號(hào)的產(chǎn)生和激勵(lì)、端點(diǎn)檢測(cè)和基音周期的估計(jì)、用數(shù)學(xué)公式來(lái)證明短時(shí)頻譜是如何反映整個(gè)語(yǔ)音信號(hào)的頻譜的、LPC方程組解法、自適應(yīng)預(yù)測(cè)編碼原理、LBG算法以及實(shí)驗(yàn)中的分幀和基音周

4、期檢測(cè)。,第1章 緒論,,1.1 概述,1,,1.2 語(yǔ)音信號(hào)處理的發(fā)展,2,,1.3 語(yǔ)音信號(hào)處理的應(yīng)用及新方向,3,,1.4 語(yǔ)音信號(hào)處理過(guò)程的總體結(jié)構(gòu),4,,1.5 MATLAB在數(shù)字語(yǔ)音信號(hào)處 理中的應(yīng)用,5,語(yǔ)音信號(hào)處理是一門(mén)新興的邊緣學(xué)科，是語(yǔ)音學(xué)與數(shù)字信號(hào)處理兩個(gè)學(xué)科相結(jié)合的產(chǎn)物。它和認(rèn)知科學(xué)、心理學(xué)、語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、模式識(shí)別和人工智能等學(xué)科有著緊密的聯(lián)系。 語(yǔ)音信號(hào)處理的目的： 得到某些語(yǔ)音

5、特征參數(shù)以便高效地傳輸或存儲(chǔ)； 通過(guò)某種處理運(yùn)算以達(dá)到某種用途的要求。,1.1 概述,語(yǔ)音信息的交換大致上可以分為三大類(lèi)： （1）人與人之間的語(yǔ)言通信： 包括語(yǔ)音壓縮與編碼、語(yǔ)音增強(qiáng)等。 （2）第一類(lèi)人機(jī)語(yǔ)言通信問(wèn)題： 語(yǔ)音合成，機(jī)器講話(huà)、人聽(tīng)話(huà)的研究。 （3）第二類(lèi)人機(jī)語(yǔ)言通信問(wèn)題：語(yǔ)音識(shí)別和理解

6、 語(yǔ)音識(shí)別和理解：人講話(huà)、機(jī)器聽(tīng)話(huà)的情況。,突破進(jìn)展,系統(tǒng)論述語(yǔ)言產(chǎn)生的聲學(xué)理論,語(yǔ)譜圖儀問(wèn)世,語(yǔ)譜圖語(yǔ)音，語(yǔ)音合成,1.2 語(yǔ)音信號(hào)處理的發(fā)展,,計(jì)算機(jī),1,貝爾電話(huà)的發(fā)明,,3,用聲學(xué)方法對(duì)元音和歌唱進(jìn)行了研究,,,,,,,,2,第一個(gè)聲碼器,1876年,1939年,19世紀(jì)60年代,4,20世紀(jì)40年代,1948年,6,7,,基礎(chǔ)研究方面,技術(shù)應(yīng)用領(lǐng)域,,,5,1.2 語(yǔ)音信號(hào)處理的發(fā)展,,,,1,語(yǔ)音合成,,,,3

7、,語(yǔ)音編碼,,,,,,,,,2,語(yǔ)音識(shí)別,語(yǔ)音編碼,1.2.1 語(yǔ)音合成,以語(yǔ)言信息壓縮、存儲(chǔ)為主要目的對(duì)語(yǔ)音信號(hào)數(shù)字模型進(jìn)行研究，同時(shí)研究音素、音節(jié)、詞組與句子的發(fā)音規(guī)則。最終恢復(fù)出自然流暢的語(yǔ)音來(lái)。例如文語(yǔ)轉(zhuǎn)換系統(tǒng)(Text-to-speech)。語(yǔ)音分析與合成將賦予計(jì)算機(jī)說(shuō)話(huà)的功能。也是進(jìn)行話(huà)音編碼、語(yǔ)音識(shí)別研究的基礎(chǔ)。,1.2.2 語(yǔ)音編碼,語(yǔ)音編碼的目的： 在保證一定語(yǔ)音質(zhì)量的前提下，盡

8、可能降低編碼比特率，以節(jié)省頻率資源。,1.2.2 語(yǔ)音編碼,語(yǔ)音編碼與文本到語(yǔ)音轉(zhuǎn)換兩個(gè)主要區(qū)別 一、前者是人與人之間的話(huà)音交流，要保留說(shuō)話(huà)人的聲音特征。后者是文本到聲音的轉(zhuǎn)換即計(jì)算機(jī)發(fā)聲。它可以是標(biāo)準(zhǔn)播音員或其它聲音。 二、前者不僅對(duì)壓縮率和音質(zhì)有要求，而且要求較低的編、解碼延遲。而后者對(duì)處理幀長(zhǎng)沒(méi)有什么太嚴(yán)格的限制。,1.2.3 語(yǔ)音識(shí)別,研究如何使計(jì)算機(jī)能夠聽(tīng)懂人類(lèi)的語(yǔ)言。以漢語(yǔ)語(yǔ)音為例：漢

9、語(yǔ)約有400個(gè)音節(jié)，加上聲調(diào)約1200個(gè)音調(diào)節(jié)，把這些語(yǔ)音信號(hào)的特征存儲(chǔ)到計(jì)算機(jī)內(nèi)，并與計(jì)算機(jī)接收到的漢語(yǔ)發(fā)音進(jìn)行比較，找到特征相同的音節(jié)或音調(diào)節(jié)，這個(gè)過(guò)程就是語(yǔ)音識(shí)別。將識(shí)別出的音節(jié)序列轉(zhuǎn)換成文字，就是語(yǔ)言理解。許多算法將理解過(guò)程溶入到識(shí)別中來(lái)提高識(shí)別的準(zhǔn)確性。因此可以將語(yǔ)音識(shí)別與理解歸入同一類(lèi)應(yīng)用。,語(yǔ)音識(shí)別研究領(lǐng)域包括： （1）根據(jù)對(duì)說(shuō)話(huà)人說(shuō)話(huà)方式的要求，可以分為孤立字語(yǔ)音識(shí)別系統(tǒng)，連接字語(yǔ)音識(shí)別系統(tǒng)以及連續(xù)語(yǔ)音識(shí)別系統(tǒng)

10、。 （2）根據(jù)對(duì)說(shuō)話(huà)人的依賴(lài)程度可以分為特定人和非特定人語(yǔ)音識(shí)別系統(tǒng)。 （3）根據(jù)詞匯量大小，可以分為小詞匯量、中等詞匯量、大詞匯量以及無(wú)限詞匯量語(yǔ)音識(shí)別系統(tǒng)。,1.3 語(yǔ)音信號(hào)處理的應(yīng)用及新方向,語(yǔ)音技術(shù)的應(yīng)用領(lǐng)域 包括語(yǔ)音識(shí)別、說(shuō)話(huà)人的鑒別和確認(rèn)、語(yǔ)種的鑒別和確認(rèn)、關(guān)鍵詞檢測(cè)和確認(rèn)、語(yǔ)音合成、語(yǔ)音編碼等。 但其中最具有挑戰(zhàn)性和最富有應(yīng)用前景的為語(yǔ)音識(shí)別技術(shù)。,一：語(yǔ)音信號(hào)處理的應(yīng)用,1. 說(shuō)話(huà)

11、人識(shí)別技術(shù)的應(yīng)用 安全加密、銀行信息電話(huà)查詢(xún)服務(wù) 公安機(jī)關(guān)破案和法庭取證方面 在聲控應(yīng)用中，識(shí)別輸入的語(yǔ)音內(nèi)容，并根據(jù)內(nèi)容來(lái)執(zhí)行相應(yīng)的動(dòng)作，這包括了聲控電話(huà)轉(zhuǎn)換、聲控語(yǔ)音撥號(hào)系統(tǒng)、聲控智能玩具、信息網(wǎng)絡(luò)查詢(xún)、家庭服務(wù)、賓館服務(wù)、旅行社服務(wù)系統(tǒng)、醫(yī)療服務(wù)、股票查詢(xún)服務(wù)和工業(yè)控制等。,1. 說(shuō)話(huà)人識(shí)別技術(shù)的應(yīng)用 在電話(huà)與通信系統(tǒng)中，智能語(yǔ)音接口正在把電話(huà)機(jī)從一個(gè)單純的服務(wù)工具變成為一個(gè)

12、服務(wù)的“提供者”和生活“伙伴”。 目前，自動(dòng)口語(yǔ)分析、用戶(hù)交換機(jī)、電話(huà)機(jī)、手機(jī)已經(jīng)包含了語(yǔ)音識(shí)別撥號(hào)功能，還有語(yǔ)音記事本、語(yǔ)音智能玩具等產(chǎn)品也包含了語(yǔ)音識(shí)別與語(yǔ)音合成功能。人們可以通過(guò)電話(huà)網(wǎng)絡(luò)用語(yǔ)音識(shí)別口語(yǔ)對(duì)話(huà)系統(tǒng)查詢(xún)有關(guān)的機(jī)票、旅游、銀行信息。,2. 語(yǔ)音合成的應(yīng)用 公交汽車(chē)上的自動(dòng)報(bào)站、各種場(chǎng)合的自動(dòng)報(bào)時(shí)、自動(dòng)報(bào)警、手機(jī)查詢(xún)服務(wù)和各種文本校對(duì)中的語(yǔ)音提示、在電信聲訊服務(wù)：如股票、售

13、后服務(wù)、車(chē)站查詢(xún)等信息；也可用于基于微型機(jī)的辦公、教學(xué)、娛樂(lè)等智能多媒體軟件，例如語(yǔ)言學(xué)習(xí)、教學(xué)軟件、語(yǔ)音玩具、語(yǔ)音書(shū)籍等；也可與語(yǔ)音合成技術(shù)與機(jī)器翻譯技術(shù)結(jié)合，實(shí)現(xiàn)語(yǔ)音翻譯等。,3. 語(yǔ)音編碼的應(yīng)用 在移動(dòng)通信、衛(wèi)星通信、軍事保密通信、信息高速公路和IP電話(huà)通信中的應(yīng)用。 在個(gè)人移動(dòng)通信、語(yǔ)音存儲(chǔ)、多媒體通信、數(shù)字?jǐn)?shù)據(jù)網(wǎng)(DDN)中的應(yīng)用。 未來(lái)的ISDN、衛(wèi)星

14、通信、移動(dòng)通信、微波接力通信和信息高速公路以及保密電話(huà)等中的應(yīng)用。,二、語(yǔ)音信號(hào)處理的新方向 （1）基于語(yǔ)音的信息檢索。網(wǎng)絡(luò)技術(shù)及數(shù)字圖書(shū)館 技術(shù)的發(fā)展，基于語(yǔ)音識(shí)別的信息檢索技術(shù)正成為研究熱點(diǎn)。 （2）基于語(yǔ)音識(shí)別的廣播新聞的自動(dòng)文摘技術(shù)的研究。由于廣播、電視中的發(fā)音較為標(biāo)準(zhǔn)規(guī)范，在識(shí)別中避免了說(shuō)話(huà)人發(fā)音上的不規(guī)范，有利于語(yǔ)音識(shí)別系統(tǒng)性能的提高。,二、語(yǔ)音信號(hào)處理的新方向 （3）VoIP技術(shù)。是通過(guò)TCP/IP網(wǎng)絡(luò)，而不是

15、傳統(tǒng)的電話(huà)網(wǎng)絡(luò)來(lái)傳輸語(yǔ)音的新的通信方式，通常稱(chēng)之為IP電話(huà)技術(shù)。在網(wǎng)絡(luò)上對(duì)壓縮的語(yǔ)音數(shù)據(jù)以數(shù)據(jù)包的形式進(jìn)行傳輸和識(shí)別。 （4）語(yǔ)音訓(xùn)練與校正技術(shù)?，F(xiàn)在越來(lái)越多的人希望掌握其他非母語(yǔ)語(yǔ)言，以便方便的進(jìn)行交流。因此語(yǔ)言學(xué)習(xí)機(jī)已成為當(dāng)今外語(yǔ)學(xué)習(xí)者的有利工具。,二、語(yǔ)音信號(hào)處理的新方向 （5）語(yǔ)種識(shí)別。是近年來(lái)新出現(xiàn)的研究方向，通過(guò)分析處理一個(gè)語(yǔ)音片斷來(lái)判別其所屬語(yǔ)音的種類(lèi)，本質(zhì)上屬于語(yǔ)音識(shí)別的研究范疇。 （6）基于語(yǔ)音的情感處

16、理研究。在人與人的交流中，除了語(yǔ)音信息外，非語(yǔ)言信息也起著重要的作用。為了使人機(jī)交流更自然、更人性化，基于語(yǔ)音的情感處理研究也是非常必要的。,1.4 語(yǔ)音信號(hào)處理過(guò)程的總體結(jié)構(gòu),圖1.1 信號(hào)處理和加工的一般示意圖,信號(hào)提取與利用,信號(hào)變換,信號(hào)表示,觀(guān)察與測(cè)量,信號(hào)源,,,,,信息加工和處理的一般流程如圖1.1所示,,語(yǔ)音輸入,預(yù)處理,數(shù)字化,特征提取,,,,合成,傳輸,,參考模式庫(kù),模式匹配,識(shí)別結(jié)果,,壓縮處理,,,,,,,,

17、識(shí)別,訓(xùn)練,語(yǔ)音識(shí)別,解壓縮,存儲(chǔ),語(yǔ)音輸出,,,,,,,,,,圖1.2 語(yǔ)音處理過(guò)程的結(jié)構(gòu)框圖,,,,,,語(yǔ)音處理過(guò)程的結(jié)構(gòu)框圖,1.5 MATLAB在數(shù)字語(yǔ)音信號(hào)處理中的應(yīng)用,數(shù)字語(yǔ)音信號(hào)處理是將數(shù)字信號(hào)處理與語(yǔ)音學(xué)相結(jié)合，解決現(xiàn)代通信領(lǐng)域中人與人、人與機(jī)器之間的信息交流的學(xué)科。 MATLAB是一種功能強(qiáng)大、效率高、交互性好的計(jì)算機(jī)高級(jí)語(yǔ)言。 近年來(lái)MATLAB已成為學(xué)習(xí)語(yǔ)音信號(hào)

18、處理和進(jìn)行研究工作的仿真軟件工具。,MATLAB在數(shù)字語(yǔ)音信號(hào)中的幾方面應(yīng)用： （1）通過(guò)MATLAB可以對(duì)數(shù)字化的語(yǔ)音信號(hào)進(jìn)行時(shí)頻域分析。 （2）通過(guò)MATLAB可以對(duì)數(shù)字化的語(yǔ)音信號(hào)進(jìn)行估計(jì)和判別。 （3）通過(guò)利用MATLAB編程對(duì)語(yǔ)音信號(hào)進(jìn)行處理 本書(shū)中的程序?qū)嵗肕ATLAB語(yǔ)言編寫(xiě)，供大家上機(jī)實(shí)踐時(shí)參考。,數(shù)字語(yǔ)音信號(hào)處理研究?jī)?nèi)容,涉及三

19、方面相互密切配合的任務(wù)和課題：1. 應(yīng)用2. 基礎(chǔ)理論和算法3. 硬件系統(tǒng),1. 應(yīng)用方面,通信產(chǎn)業(yè)起源于1874年電話(huà)的發(fā)明。從那時(shí)起，通信產(chǎn)業(yè)大致發(fā)生了三次重大變革。 （1）第一次變革產(chǎn)生于七十年代初。1972年CCITT組織公布了第一個(gè)語(yǔ)音編碼標(biāo)準(zhǔn)G.711。即對(duì)數(shù)PCM編碼，由此開(kāi)始，數(shù)字程控交換網(wǎng)絡(luò)逐步淘汰了傳統(tǒng)的模擬交換傳輸方式。,（2）第二次重大變革產(chǎn)生于八十年代末。1988年歐共體13個(gè)國(guó)家數(shù)字移動(dòng)特別

20、工作組(GSM)制定了采用長(zhǎng)時(shí)預(yù)測(cè)規(guī)則碼激勵(lì)的編碼標(biāo)準(zhǔn)(13k bps RPE-LTP)。 1989年美國(guó)蜂窩通信工業(yè)協(xié)會(huì)(CITA)宣布了北美數(shù)字移動(dòng)通信話(huà)音編碼標(biāo)準(zhǔn)(8K bps矢量和激勵(lì)VSELP)。從而確立了全球范圍第二個(gè)傳輸網(wǎng)移動(dòng)通信產(chǎn)業(yè)的崛起。,（3）第三次變革發(fā)生在世紀(jì)之交。以新興的計(jì)算機(jī)因特網(wǎng)為基礎(chǔ)的信息高速公路在全世界范圍迅速發(fā)展。如何在INTERNET網(wǎng)上有效地傳輸話(huà)音成為產(chǎn)業(yè)界關(guān)注的焦點(diǎn)。IP電話(huà)將使因

21、特網(wǎng)成為第三個(gè)話(huà)音通信傳輸網(wǎng)。目前IP電話(huà)所用的話(huà)音編碼標(biāo)準(zhǔn)有G.723.1、G.728、G.729等。這些標(biāo)準(zhǔn)各有長(zhǎng)短。人們正在努力研究適合IP電話(huà)的新的編碼算法。低延遲、低碼率、低復(fù)雜性、高音質(zhì)的話(huà)音編碼算法將是未來(lái)IP電話(huà)網(wǎng)絡(luò)的奠基石。,2. 基礎(chǔ)理論和算法方面,從以下方面進(jìn)行： （1）語(yǔ)音產(chǎn)生的機(jī)理（發(fā)音）和感知機(jī)理（聽(tīng)） 涉及心理學(xué)、語(yǔ)音學(xué)、語(yǔ)言學(xué)、認(rèn)知學(xué)、神經(jīng)生理學(xué)等。

22、 （2）將語(yǔ)音作為一種信號(hào)來(lái)處理 常用方法: 數(shù)字濾波器（FIR、IIR）；快速付里葉變換（FFT）； 線(xiàn)性預(yù)測(cè)編碼（LPC）；同態(tài)信號(hào)處理等。 新的方法：神經(jīng)網(wǎng)絡(luò)、矢量量化、子波變換等,3. 硬件方面,硬件系統(tǒng)主要體現(xiàn)在內(nèi)存容量和計(jì)算速度上。語(yǔ)音信號(hào)處理器的運(yùn)算速度一般為10~20MIPS(Million Instructions Per Second)，有的可達(dá)50MIPS或100