多媒體技術(shù)和應(yīng)用第4章

1、,,,多媒體技術(shù)與應(yīng)用,公共選修課,,,,,,,廣州中醫(yī)藥大學(xué)信息技術(shù)學(xué)院,,,,1. 什么是聲音?聲音的種類 聲音的種類繁多。人聲馬嘶、獸鳴鳥叫、風(fēng)雨雷電、機(jī)器轟鳴、悠揚(yáng)琴聲等…… 因此，聲音根據(jù)內(nèi)容可以分為：天籟之音，語音，樂音等；根據(jù)頻率可分為：高音、低音、重低音、超聲波與次聲波等；根據(jù)特性分為樂聲和噪聲。聲音的實(shí)質(zhì) 從信息處理的角度來看，聲音實(shí)質(zhì)上是一種信號(hào)，稱之為音頻信號(hào)。,第

2、四部分 聲音和音頻信號(hào)處理,,http://www.q266.com 創(chuàng)點(diǎn)教程網(wǎng),2.聲音信號(hào)的特點(diǎn),聲波具有時(shí)間和幅度上的連續(xù)性；聲音的傳播具有反射、折射、衍射等形式；（聲速和多普勒效應(yīng)）,振幅A反映了信號(hào)的強(qiáng)度；就是聲音的大小。頻率F反映了音調(diào)的高低；也即尖細(xì)或是低粗。,3.聲波的應(yīng)用 聲納，B超。,4.聲音的三要素,音調(diào)：指聲音的基音頻率；（音階的劃分）音色：指聲音的泛音頻率；（音頻帶寬）音強(qiáng)：指

3、聲音的聲音幅度；（音量的計(jì)量－分貝dB)。,5. 聲音質(zhì)量的度量,聲品質(zhì)可定義為聽覺事件對(duì)個(gè)人各方面需求的滿足程度，影響聲品質(zhì)的因素包括物理(聲場(chǎng))、心理聲學(xué)(聽覺感知)、心理(聽覺評(píng)價(jià))等幾方面。人類的聽覺頻率范圍：20～20KHz。語音質(zhì)量等級(jí)： 根據(jù)聲音頻帶，聲音質(zhì)量分5個(gè)等級(jí)，依次為：電話、調(diào)幅廣播(AM)、調(diào)頻廣播(FM)、CD光盤、數(shù)字錄音帶( DAT，Digital Audio Tape),6.音強(qiáng)和響度，聽

4、閾和痛閾,音強(qiáng)又稱為響度，是表示人的聽覺主觀判斷聲音的強(qiáng)弱程度。在心理學(xué)上，響度是人耳對(duì)音量大小、聲音強(qiáng)弱的主觀感受。響度大，聲音顯得豐滿；響度小，聲音便非常單薄脆弱。在物理上，響度用聲壓或聲強(qiáng)來描述聲音的強(qiáng)弱。 響度級(jí)為以1000Hz為基準(zhǔn)。定義1000Hz、40dB純音時(shí)，響度為1宋。 當(dāng)聲音弱到人耳剛剛能聽到的時(shí)候，此時(shí)的音強(qiáng)稱之為：聽閾。 當(dāng)音強(qiáng)達(dá)到人耳感覺疼痛的時(shí)候，此時(shí)的音強(qiáng)稱為痛閾。聽閾和痛閾是隨頻

5、率變化的。 人耳的聽覺音強(qiáng)范圍為0-120dB。,人的聽覺聲強(qiáng)范圍,7.人類的聽覺特性,1) 人耳只能察覺出3dB以上音強(qiáng)變化2) 人耳對(duì)不同頻段的聲音敏感度不同人耳對(duì)1~3KHZ的聲音最為靈敏3) 人的聽覺具有掩蔽效應(yīng),聽覺的掩蔽效應(yīng),問題：音頻信號(hào)有什么特點(diǎn)？如何用計(jì)算機(jī)處理音頻信號(hào)？如何獲得高質(zhì)量的音頻信號(hào)？,模擬信號(hào)的數(shù)字化處理,模擬到數(shù)字的轉(zhuǎn)換－A/D轉(zhuǎn)換（Analog to Digital Conver

6、sion）,模擬信號(hào)數(shù)字化的步驟 ：1.采樣 在連續(xù)信號(hào)中每隔一定時(shí)間取一個(gè)值；2.量化 把其大小取整為n位二進(jìn)制數(shù)所能表示的數(shù)； 例如: n=4， 即有24=16個(gè)級(jí)別可用于表示一個(gè)采樣， 量化后只能以0，1，2……15這16個(gè)數(shù)之一來表示3.編碼 按一定的規(guī)律產(chǎn)生二進(jìn)制位數(shù)據(jù)。,模擬信號(hào)數(shù)字化的原理,—— 將檢測(cè)到的電壓值轉(zhuǎn)換成數(shù)字信息,模擬信號(hào)的數(shù)字化－4bi

7、t,采樣定理采樣頻率要高于被采樣信號(hào)最高頻率的兩倍，信號(hào)才可能完全復(fù)原。話音最高頻率為4000Hz，則需每秒采樣8000次；聲音的最高頻率為20kHz，所以在多媒體計(jì)算機(jī)中使用的多是44.1 kHz的采樣頻率。 量化精度取決于表示一個(gè)采樣值的二進(jìn)制位數(shù)。位數(shù)越多，精度也越高。用16個(gè)二進(jìn)制位（bit）表示聲音，可將聲音分為216=65536級(jí)，而若用8位則僅能區(qū)分出28=256級(jí)。用16位表示的聲音比用8位的聲音質(zhì)量高得多。

8、,音頻數(shù)據(jù)壓縮處理,1. 音頻壓縮的理論基礎(chǔ)是人的聽覺特性。2. 音頻壓縮算法的分類： 1) 有損壓縮和無損壓縮 2) 時(shí)域壓縮，子帶壓縮和變換壓縮三種語音編碼器：波形編碼器音源編碼器(聲碼器) 混合編碼器3. 最基本的音頻壓縮處理方法－PCM編碼,脈沖編碼調(diào)制的概念是1937年，由法國工程師Alec Reeres 最早出來的。1946年美國Bell實(shí)驗(yàn)室實(shí)現(xiàn)了第一臺(tái)PCM數(shù)字電話終端機(jī)。1

9、962年，晶體管PCM終端機(jī)大量應(yīng)用于市話網(wǎng)中局間 中繼線，使市話電纜傳輸電話路數(shù)擴(kuò)大24～30倍。70年代后期，超大規(guī)模集成電路的PCM編、解碼器的出現(xiàn)，使光纖通信、數(shù)字微波通信、衛(wèi)星通信獲得了更廣泛的應(yīng)用。此外，CD唱機(jī)和DAT錄音機(jī)，均采用線性PCM編碼來存儲(chǔ)音樂信號(hào)，為非壓縮方式。,脈沖編碼調(diào)制(Pulse Coding Modulation),PCM算法是最簡單、最完善、最常見也是壓縮效率最低的編碼方法。它用一組二進(jìn)制

10、數(shù)碼來代替連續(xù)信號(hào)的抽樣值，具有極強(qiáng)的抗干擾能力。 步驟： 僅對(duì)輸入信號(hào)進(jìn)行采樣－量化－編碼。,PCM系統(tǒng)原理框,幾個(gè)關(guān)于量化的概念： 均勻量化與非均勻量化,量化噪聲（誤差）,量化信噪比：隨量化電平階數(shù)M的增加而提高，信號(hào)的逼真度越好。均勻量化的不足：量化信噪比隨信號(hào)電平的減小而下降。在民用電話中，一種簡單而又穩(wěn)定的非均勻量化器為對(duì)數(shù)量化器。該量化器在出現(xiàn)頻率高的低幅語音信號(hào)處，運(yùn)用小的量化間

11、隔，在出現(xiàn)概率低的高幅語音信號(hào)處，運(yùn)用大的量化間隔。,幅度大的信號(hào)被壓縮，幅度小的信號(hào)被擴(kuò)張。,壓縮與擴(kuò)張的示意圖,兩種常見PCM體制：1)μ律壓擴(kuò)算法 2) A律壓擴(kuò)算法,A律壓縮特性,μ律壓縮特性,MP3壓縮標(biāo)準(zhǔn)MP3是一種有損數(shù)字音頻壓縮格式，其全稱是MPEG-1 Audio Layer3。 MPEG-1音頻壓縮標(biāo)準(zhǔn)是第一個(gè)高保真音頻數(shù)據(jù)壓

12、縮標(biāo)準(zhǔn)。除AC-3之外，其他的音頻壓縮算法只適用于語言(如碼激勵(lì)線性預(yù)測(cè)CELP)或只有中等壓縮質(zhì)量(如自適應(yīng)差分脈沖編碼調(diào)制ADPCM)。MPEG－1音頻壓縮標(biāo)準(zhǔn)雖然是MPEG-1標(biāo)準(zhǔn)的一部分，但它完全可獨(dú)立應(yīng)用。,在MPEG-1標(biāo)準(zhǔn)中，按復(fù)雜程度劃分了三種音頻壓縮模式即層Ⅰ，層Ⅱ，層Ⅲ。目前廣泛使用的VCD音頻壓縮方案為層Ⅰ，其典型碼率為每通道192Kbps，共2通道。層Ⅱ即稱掩蔽模式，采用通用子帶集成編碼與多路復(fù)用

13、，典型碼率為每通道128 Kbps，廣泛應(yīng)用于數(shù)字音頻廣播、數(shù)字演播室、CD-I等數(shù)字音頻專業(yè)的制作、交流、存儲(chǔ)和傳送。層Ⅲ是綜合層Ⅱ和自適應(yīng)譜感知熵編碼 (ASPEC)的優(yōu)點(diǎn)提出的混合壓縮技術(shù)，MP3的復(fù)雜度相對(duì)較高，不利于實(shí)時(shí)編碼，典型碼率為64 Kbps，在低碼率下有高品質(zhì)的音質(zhì)。用于ISDN語音通話。,MPEG-1音頻壓縮模式的比較,MP3產(chǎn)品簡介1. 組成結(jié)構(gòu),PHILIPS芯片方案PHILIPS解碼芯片屬于高端產(chǎn)品。

14、其系列芯片SAA7750,SAA7751, PNX0101ET本身僅是解碼芯片，必須搭配控制芯片才能使用。代表產(chǎn)品： iRiver的IFP-100、300、500系列和MPIO的FD100、FL100、FY200、FG100等。SIGMATEL芯片方案美國SIGMATEL的STMP 34和35系列芯片是目前市場(chǎng)占有率較大的芯片，采用獨(dú)立控制方式，成本較低。代表產(chǎn)品：愛國者月光寶盒系列、三星 YP-55H，JNC SSF-800

15、等TELECHIPS芯片方案韓國TELECHIPS的TCC730、TCC731也是性能較好的MP3解碼芯片之一，同樣需要外圍元件的配合，成本比飛利浦較低。 代表產(chǎn)品：丹丁328系列、DEC街舞系列，朝華魔音系列 。對(duì)三款主流芯片來說，音質(zhì)排列順序?yàn)椋篜hilips > Sigmatel > Telchips,樂器數(shù)字接口MIDI樂器數(shù)字接口規(guī)范MIDI (Musical Instrument Digital I

16、nterface)于1983年提出。MIDI是一種利用合成器產(chǎn)生的音樂技術(shù)。MIDI由三個(gè)部分組成，分別是：通信協(xié)議Communication Protocol；連接器 Connector（硬件接口）；傳播規(guī)范，稱為標(biāo)準(zhǔn)MIDI文件Standard MIDI Files。,通信協(xié)議 MIDI協(xié)議是樂譜的數(shù)字化描述語言。每一個(gè)描述樂器演播的動(dòng)作的字都賦給一個(gè)特定的二進(jìn)制代碼。例如：音色編號(hào)為00；音符C3編號(hào)為

17、00；8分音符編號(hào)為60。如果鋼琴8分音符的C3音，它的MIDI編碼是“00 00 60連接器根據(jù)MIDI 1.0規(guī)范，MIDI連接器是一個(gè)5針DIN接頭。由于PC機(jī)未為MIDI預(yù)留接口，故采用串行口或游戲桿端口來連接MIDI樂器?！?biāo)準(zhǔn)MIDI文件一個(gè)MIDI文件不需要捕捉和存儲(chǔ)實(shí)際的聲音，僅是一個(gè)事件的列表，描述了一個(gè)聲音卡或其他播放設(shè)備要產(chǎn)生某種聲音的特定的步驟。因此，MIDI文件比數(shù)字音頻文件小得多，并且事件是可

18、以編輯的，音樂可以重排，編輯，甚至交互式作曲。,4.4 聲卡簡介聲卡的基本功能：將來自話筒、磁帶、光盤的原始聲音信號(hào)進(jìn)行轉(zhuǎn)換，輸出到耳機(jī)、揚(yáng)聲器、擴(kuò)音機(jī)、錄音機(jī)等聲響設(shè)備，或通過音樂設(shè)備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音。4.1 聲卡的發(fā)展歷史1984年，英國ADLIB AUDIO公司推出第一款聲卡。 1995年，創(chuàng)新推出AWE32系列，具有硬件波表合成能力，而以往的聲卡僅具備FM合成能力，具有一個(gè)32復(fù)音的波表引擎

19、，并集成了1MB容量的音色庫，MIDI的表現(xiàn)力獲得大大提升，硬件波表合成能力成為高檔聲卡的象征。1996年，創(chuàng)新推出AWE64系列，具有64復(fù)音的波表合成能力，成為當(dāng)時(shí)MIDI表現(xiàn)力最佳的聲卡，這個(gè)系列中的AWE64 Gold，是公認(rèn)最優(yōu)秀的聲卡之一 。,聲卡主要由以下幾個(gè)部分組成：● 聲音的合成與處理    是聲卡的核心部分。由數(shù)字聲音處理器、調(diào)頻(FM)音樂合成器及MIDI控制器組成。完成聲波信號(hào)的A/

20、D和D/A轉(zhuǎn)換，利用調(diào)頻技術(shù)控制聲音的音調(diào)、音色和幅度等。 ● 混合信號(hào)處理器    其中內(nèi)置數(shù)字/模擬混音器，混音器的聲源由以下幾種信號(hào): MIDI信號(hào)、CD音頻、線路輸入、麥克風(fēng)等可以選擇一個(gè)聲源或幾個(gè)不同的聲源進(jìn)行混合錄音?！?功率放大器由于混合信號(hào)處理器輸出的信號(hào)功率不足，需要一個(gè)功率放大器作為功率放大使得輸出的音頻信號(hào)有足夠的功率。 ● 總線接口和控制器 總線接口和控制器是由數(shù)據(jù)總線雙向驅(qū)動(dòng)器、