第2章音頻處理技術(shù)與應(yīng)用

1、第2章 音頻信息處理,2．1 音頻處理基礎(chǔ)2．2 音頻處理軟件Adobe Audition2．3 音頻處理綜合應(yīng)用案例,,2.1 音頻處理基礎(chǔ) 2.1.1 音頻信號(hào)概述,1. 聲波 （1）聲波：由各種機(jī)械振動(dòng)或氣流的擾動(dòng)引起周圍的彈性媒質(zhì)發(fā)生波動(dòng)。 （2）聲源：產(chǎn)生聲波的物體，如人的聲帶和樂器等。 （3）聲音：人的聽覺系統(tǒng)所能感知到的聲波。 ? 音頻的頻率范圍：20 Hz ～ 200

2、00 Hz ? 語音的頻率范圍：300 Hz ～ 3000 Hz ? 次聲波的頻率范圍： 20 kHz（4）聲強(qiáng)：對(duì)于一定頻率的聲音，要能引起聽覺，其聲強(qiáng)也有一定的范圍。 ? 下限：是恰能引起人聽覺的最小聲強(qiáng)，叫做該頻率的可聞閾； ? 上限：是指人耳能聽聞的最大聲強(qiáng)，高于上限的聲強(qiáng)，人耳感覺疼痛，所以叫做該頻率的疼痛閾。,,2．聲音的基本特征（1）聲波信號(hào)的物理特征 周期（T）：聲波的

3、兩個(gè)波峰或波谷之間的相對(duì)時(shí)間。 頻率（f）：周期的倒數(shù)（f=1/T），即每秒波峰或波谷出現(xiàn)的次數(shù)。 聲波的幅度：從聲波信號(hào)的基線到波峰的距離，幅度越大聲波的強(qiáng)度也越大。通常也用聲壓、聲強(qiáng)或聲功率來表示聲音的強(qiáng)弱。,常見聲音的分貝量級(jí),（2）聲音信號(hào)的心理學(xué)特征 人們感知到的聲音特征稱為心理學(xué)特征。音調(diào)：在音樂中又叫音高，是由發(fā)聲物體的振動(dòng)頻率決定，振動(dòng)越快（即頻率越大），音調(diào)越高，振動(dòng)越慢，音調(diào)越低

4、。音調(diào)的高低與聲音基頻的對(duì)數(shù)（20*log）成線性關(guān)系?；l越低，給人的感覺是聲音越低沉，基頻頻率增加一倍，在音樂上就叫升高了一個(gè)八度。 音色：這是一個(gè)主觀評(píng)價(jià)聲音的量，聲音的音色取決于聲音的頻譜結(jié)構(gòu)，一般高次諧波越豐富，音色越明亮并具有穿透力。響度：人耳對(duì)聲音強(qiáng)弱的感覺程度，主要取決于振幅和聲壓。通常振幅越大聲音越響，其次人耳距離聲源越遠(yuǎn)，聲音越小。,（3）聲音質(zhì)量的評(píng)價(jià)聲音質(zhì)量與帶寬有關(guān)，頻率范圍越寬，聲音質(zhì)量越高。1

5、）聲音質(zhì)量分級(jí)：按照聲音信號(hào)的頻率范圍將聲音質(zhì)量分為5級(jí)。,2）信噪比（SNR）：即有用信號(hào)與噪音信號(hào)的強(qiáng)度之比，對(duì)于聲卡或音箱則是其產(chǎn)生的最大不失真聲音信號(hào)強(qiáng)度與同時(shí)發(fā)出的噪音強(qiáng)度之比，單位是分貝。3) 聲音主觀質(zhì)量的度量：主觀度量就是大多數(shù)人對(duì)聲音質(zhì)量的感覺。,3．音頻信號(hào)的表示 聲音信號(hào)通過麥克風(fēng)等設(shè)備轉(zhuǎn)換成電信號(hào)以后稱之為音頻信號(hào)。 （1）規(guī)則音頻信號(hào) 規(guī)則音頻（Audio）是帶有語音、音樂和音效的有規(guī)律

6、的音頻信號(hào)，承載了一定的信息。 ? 語音：是語言的載體，有豐富的語言內(nèi)涵，是人類交流的信息載體。 ? 音樂：是一種規(guī)范的符號(hào)化的聲音。 ? 音效：是指自然界中的其他各種聲音效果，如掌聲、雷鳴聲，爆破聲等。 不規(guī)則聲音：不包含任何信息的聲音，比如噪聲。（2）音頻信號(hào)的表示 1）音頻信號(hào)的數(shù)學(xué)表示其中：ω0表示聲音的基音，決定了音調(diào)的高低，nω0是ω0的n次諧波分量，代表了聲音的泛音，決定了聲

7、音的音色，An 是聲波的振幅，表示聲音的強(qiáng)弱。,,2）音頻信號(hào)的波形表示,3）音頻信號(hào)的頻譜表示 信號(hào)頻譜即信號(hào)頻率的分布曲線。復(fù)雜的聲音可以認(rèn)為是振幅不同和頻率不同的正弦聲波疊加而成的，這些正弦聲波的幅值按頻率排列的圖形就叫做頻譜 。 男聲的基頻較低，低頻分量更加豐富，因此聽起來會(huì)更加低沉、渾厚。,聲音信號(hào)是典型的連續(xù)信號(hào)，不僅在時(shí)間上是連續(xù)的，而且在幅度上也是連續(xù)的，屬于模擬信號(hào)。 （1）采樣

8、 聲音信號(hào)在時(shí)間軸上的離散化，即每隔相等的一段時(shí)間抽取一個(gè)信號(hào)樣本。采樣頻率：每秒采樣的次數(shù)。奈奎斯特理論（Nyquist theory）：采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字聲音還原成原來的聲音，稱為無損數(shù)字化。 f s >= 2 f max 電話話音信號(hào)的最高頻率約為3.4kHz，所以采樣頻率取為8kH

9、z。,,2.1.2 音頻信號(hào)的數(shù)字化,1. 音頻信號(hào)數(shù)字化,（2） 量化 將連續(xù)的聲音信號(hào)的幅度離散化。 也就是采樣過程中對(duì)每一個(gè)采樣點(diǎn)的幅度值用數(shù)字量來表示。如果幅度的劃分是等間隔的，稱為線性量化，否則為非線性量化。采樣精度：即量化的位數(shù)，位數(shù)越多量化等級(jí)數(shù)也越多，所能表示的聲波幅度的動(dòng)態(tài)范圍也越大，當(dāng)然需要的存儲(chǔ)空間也越大。,（3） 編碼 就是用一組二進(jìn)制碼組來表示每一個(gè)有固定電平的量化值，

10、或者說將量化值轉(zhuǎn)換成二進(jìn)制碼組。 典型的音頻編碼方法：脈沖編碼調(diào)制法（PCM）。 （4）數(shù)字音頻的數(shù)據(jù)量 數(shù)據(jù)量 = 采樣頻率* 采樣精度* 采樣時(shí)間* 聲道數(shù) / 8 （字節(jié)數(shù)） 單聲道：一次只產(chǎn)生一組聲波數(shù)據(jù)， 立體聲：一次產(chǎn)生兩組聲波數(shù)據(jù)，分別送往左聲道和右聲道，根據(jù)聲音到達(dá)人耳的時(shí)間差產(chǎn)生空間立體效果，因此立體聲聲波數(shù)據(jù)所需存儲(chǔ)空間是單聲道的一倍。例2.1 計(jì)算一分鐘未壓縮的高保真

11、立體聲數(shù)字聲音數(shù)據(jù)的大小。 60 * （ 44100 * 16 * 2 ） / 8 = 10.09 MB 一首未經(jīng)壓縮的4分鐘的歌曲文件的大小約為40MB，那么一個(gè)容量為512MB的MP3播放器也只能播放12首這樣的歌曲。,（1）電話質(zhì)量的語音壓縮標(biāo)準(zhǔn)（2）調(diào)幅廣播語音壓縮標(biāo)準(zhǔn)：G.722（3）高保真立體聲的寬帶音頻壓縮標(biāo)準(zhǔn),2. 數(shù)字音頻壓縮標(biāo)準(zhǔn),電話質(zhì)量的語音壓縮標(biāo)準(zhǔn),MPEG音頻：是第

12、一個(gè)高保真立體聲音頻壓縮的國際標(biāo)準(zhǔn)， MPEG音頻壓縮標(biāo)準(zhǔn)提供三個(gè)獨(dú)立的壓縮層次： 1）Layer 1：編碼器簡單，輸出數(shù)據(jù)率為384 kb/s，主要用于小型數(shù)字盒式磁帶。 2）Layer 2：編碼器較復(fù)雜，輸出數(shù)據(jù)率為256 kb/s～192kb/s，主要應(yīng)用于數(shù)字廣播聲音、數(shù)字音樂、CD-I和VCD等。3）Layer 3：編碼器復(fù)雜，輸出數(shù)據(jù)率為64kb/s，主要用于ISDN上的聲音傳輸。,1．WAV文件：波形文件，微軟開發(fā)，

13、需要的存儲(chǔ)量大，多用于存儲(chǔ)簡短的聲音片段和旁白。2．MIDI文件：記錄的是生成音樂的指令，MIDI文件短小。由于MIDI記錄的并不是真正的聲音，所以不同的聲卡，不同軟波表，不同硬件音源的音色是不相同的，相同的MIDI文件在不同的設(shè)備上播放也會(huì)有不同的效果。MIDI文件適合作為背景音樂來播放。3．MP3文件：是MPEG音頻第3層的簡稱，有損壓縮，壓縮比達(dá)12:1。MP3利用人耳的掩蔽特性，削減音頻中人耳聽不到的成分，同時(shí)盡可能地維持原

14、來的聲音質(zhì)量。4．RA文件：屬于Real Media的音頻部分，采用流式傳輸方式，可以在非常低的帶寬下提供足夠好的音質(zhì)讓用戶能在線聆聽。5．WMA 文件：Windows Media的音頻部分。無損壓縮，支持多聲道編碼。6．AC3文件：又叫杜比數(shù)碼環(huán)繞立體聲，壓縮比10:1，提供的環(huán)繞聲系統(tǒng)由5個(gè)全頻域聲道和1個(gè)超低音聲道組成，稱為5.1聲道，一般作為DVD的伴音。,3. 數(shù)字音頻文件的格式,2.1.3 數(shù)字音頻處理技術(shù),1. 數(shù)字

15、音頻技術(shù) 是一門結(jié)合數(shù)字技術(shù)和計(jì)算機(jī)技術(shù)而實(shí)現(xiàn)傳統(tǒng)音頻處理的技術(shù)。 （1） 特點(diǎn)1）處理長樣本文件的能力，錄音時(shí)間只受硬盤本身大小的限制。2）隨機(jī)存取編輯3）無損編輯 （2）應(yīng)用1）聲音剪輯和CD刻錄。 2）日常音樂錄制。 3）大規(guī)模音樂錄音和混音。 4）影視音樂的制作與合成。 5）多媒體音樂制作與合成。,數(shù)字音頻工作站,2）語音識(shí)別系統(tǒng)分類對(duì)說話人說話方式的要求孤立字（詞）語音識(shí)別系統(tǒng)

16、連接字語音識(shí)別系統(tǒng)連續(xù)語音識(shí)別系統(tǒng)。對(duì)說話人的依賴程度特定人語音識(shí)別系統(tǒng)非特定人語音識(shí)別系統(tǒng)詞匯量大小小詞匯量語音識(shí)別系統(tǒng)中等詞匯量語音識(shí)別系統(tǒng)大詞匯量語音識(shí)別系統(tǒng)無限詞匯量語音識(shí)別系統(tǒng)。,2. 智能語音處理技術(shù)（1）語音識(shí)別技術(shù),,1）語音識(shí)別的發(fā)展50年代:AT&T Bell實(shí)驗(yàn)室實(shí)現(xiàn)了第一個(gè)可識(shí)別十個(gè)英文數(shù)字的語音識(shí)別系統(tǒng)——Audry系統(tǒng)。60年代：提出動(dòng)態(tài)規(guī)劃（DP）和線性預(yù)測分析技術(shù)（LP）

17、。70年代：提出了動(dòng)態(tài)時(shí)間歸正技術(shù)（DTW），矢量量化（VQ）和隱馬爾可夫模型（HMM）理論，實(shí)現(xiàn)了特定人孤立語音識(shí)別系統(tǒng)。90年代：開始進(jìn)入實(shí)用階段。,語音合成技術(shù)：指利用計(jì)算機(jī)合成語音信號(hào)的技術(shù)，使計(jì)算機(jī)能夠產(chǎn)生高清晰度和高自然度的連續(xù)語音，能夠具有類似普通人的說話能力。語音合成的三個(gè)層次從文字到語音從概念到語音從意向到語音語音合成技術(shù)的特點(diǎn)清晰度自然度表現(xiàn)力復(fù)雜度語音合成的應(yīng)用文語轉(zhuǎn)換語音查詢,（2）

18、語音合成技術(shù),2.2 音頻處理軟件 Adobe Audition,單軌編輯界面,,2.2.3 Audition界面及基本操作,多軌編輯界面,2.2.4 音頻信號(hào)獲取 直接讀取計(jì)算機(jī)磁盤上的音頻文件； 提取視頻信息中的音頻信號(hào)； 直接錄音。Audition允許同時(shí)進(jìn)行多音軌錄音，當(dāng)然需要有相應(yīng)的硬件支持，比如多個(gè)音頻輸入接口、多個(gè)錄音源等。,1．錄音前聲卡設(shè)置 “選項(xiàng) | Windows 錄音控制臺(tái) ”2．建立錄

19、音文件3．導(dǎo)入伴奏音樂4．控制錄音電平5．錄制聲音,2.2.5 音頻編輯,單軌編輯狀態(tài)：可以進(jìn)行波形的各種編輯處理和效果的設(shè)置，還可以分別對(duì)左右聲道單獨(dú)進(jìn)行編輯處理。多軌編輯狀態(tài)：適合對(duì)多個(gè)音頻軌道進(jìn)行編輯、錄制和合成處理。最多可以同時(shí)處理的軌道數(shù)為128個(gè)。按鈕“R”表示錄音、“S”表示獨(dú)奏、“M”表示靜音。,1．常用編輯（1）裁剪音頻波形 波形的選擇 波形的刪除 波形的移動(dòng)與復(fù)制,混合工具：

20、拖曳左鍵選中波形，拖曳右鍵移動(dòng)波形。 時(shí)間選擇工具：拖曳左鍵選中波形。 移動(dòng)/復(fù)制剪輯工具：拖曳左鍵移動(dòng)波形，拖曳右鍵移動(dòng)或復(fù)制。 刷選工具：拖曳左鍵可以播放選中波形。,（2）切分和合并音頻 在多軌編輯狀態(tài)下，可以對(duì)活動(dòng)音軌上的波形進(jìn)行分割，使其變成多個(gè)波形片段，定位播放線，執(zhí)行“剪輯|分割”或右擊鼠標(biāo)點(diǎn)選“分割”。 使兩段波形首尾相接，按住Ctrl鍵將兩段波形都選中，執(zhí)行“剪輯|合并”或右擊鼠標(biāo)點(diǎn)選“合

21、并”即可完成。（3）鎖定音頻波形 鎖定使音頻的絕對(duì)時(shí)間位置不變。（4）編組音頻波形 編組則可以使多個(gè)音頻片段的相對(duì)位置固定，移動(dòng)時(shí)可整體移動(dòng)。,2．包絡(luò)編輯,（1）音量包絡(luò)編輯 音量包絡(luò)是指音頻波形隨時(shí)間變化而產(chǎn)生的音量變化，也即是音量變化的走勢曲線。通過控制音量包絡(luò)曲線來改變某音軌上音頻信號(hào)的音量大小，是一個(gè)非常直觀和簡單有效的方法。（2）聲相包絡(luò)編輯 聲相就是聲音在左右聲道

22、中所處的位置。聲相包絡(luò)線處于中間時(shí)（0點(diǎn)），聲音在左右聲道中達(dá)到平衡的效果，聲相包絡(luò)線位于上半部，聲音偏向左聲道，聲相包絡(luò)線位于下半部，聲音偏向右聲道。,（3）音量淡化包絡(luò)編輯 Audition提供了簡單快速的音量淡化包絡(luò)。在音樂制作領(lǐng)域，淡化（fade）指音量的逐漸變化，音量由小到大變化稱為淡入（fade in），音量由大到小變化稱為淡出（fade out）。,3．時(shí)間伸縮用于改變聲音播放的速度，且不影響音高?！安榭磡啟

23、用剪輯時(shí)間伸展”,時(shí)間伸縮,,2.2.6 加載效果器 加載效果器按照使用方法可分為： 插入效果器：作用的聲音范圍是一整條音軌； 波形效果器：作用于音軌中的某一段音頻片段； 總線效果器：加載在總線通道上的效果器，它使所有的音軌加入相同的效果器；,1．插入效果器 多軌編輯下,2．波形效果器單軌編輯下，允許多個(gè)音頻片段分別進(jìn)行效果設(shè)置。,2.2.7 效果器,Audition的效果器按照功能分為： 振幅類效果器

24、 濾波類效果器 延遲類效果器 降噪類效果器 波形發(fā)生類效果器 聲碼器,1．動(dòng)態(tài)處理效果器,屬于幅度類效果器，用于將某個(gè)范圍內(nèi)的聲音電平按比例增大或縮小。,2．嘶聲抑制降噪器 降噪類效果器可以精確分析音頻信號(hào)中的嗡嗡類噪音進(jìn)行消除，也可以根據(jù)實(shí)際錄音環(huán)境進(jìn)行噪聲消除。 嘶聲抑制降噪器可以消除音頻信號(hào)中的高頻嘶嘶聲。,3．合奏效果器屬于延遲類效果器。對(duì)人聲進(jìn)行潤色可以使發(fā)薄的聲音變得厚實(shí)豐滿。,合奏效

25、果器,2.3 音頻處理綜合應(yīng)用舉例,2.3.1 消除人聲,1、采用VST插件直接消除 菜單“效果|幅度|通道混音器”，在預(yù)設(shè)效果中選擇“Vocal Cut”2、將雙聲道轉(zhuǎn)換為單聲道 菜單“編輯|轉(zhuǎn)換采樣類型” 選中“單聲道” 左混音：100% 右混音：-100%,2.3.2 穿插錄音技術(shù),穿插錄音：用于對(duì)已經(jīng)錄制好的聲音片段進(jìn)行重新錄制。1、首先選定不滿意的聲音片段2、右擊選擇“穿插入”，選

26、定部分變?yōu)榭瞻?，軌道左邊的“R”處于按下狀態(tài)3、點(diǎn)按“錄音”按鈕，那么聲音將自動(dòng)錄制在選定的片段。,選擇要重新錄音的片段，右擊選擇“穿插入”,進(jìn)入錄音狀態(tài),2.3.3 聲音信號(hào)降噪處理,噪聲樣本,“效果|恢復(fù)|降噪處理”,2.3.4 配樂詩朗誦制作,1、 導(dǎo)入背景音樂2、 錄制詩朗誦 3、 聲音的降噪處理4、 聲音幅度調(diào)整 ：使用效果器“幅度|包絡(luò)”，可以把音量“高的壓下來，低的提上去”，對(duì)聲音的力度起到平衡的作用。5、