鼻輔音感知線索研究.pdf

1、語音被一種稱為“聲學(xué)線索”或“感知線索”的時(shí)變譜模式所表征。當(dāng)聲波傳遞到耳蝸內(nèi)的基底膜的時(shí)候，這些用來定義語音基本單元的感知線索(也稱事件)被解析，最終使語音感知目標(biāo)得以識(shí)別。感知線索和感知目標(biāo)之間的關(guān)系一直以來都是語音感知這一典型交叉學(xué)科的關(guān)鍵研究問題，有著廣泛的應(yīng)用背景。但由于自然語音中由不同說話人，不同說話情況所引入的變異性和該研究的進(jìn)展需要數(shù)學(xué)、物理學(xué)、心理學(xué)、生理學(xué)、電子工程學(xué)、語言學(xué)等諸多研究領(lǐng)域的突破及跨學(xué)科的協(xié)作，使得該

2、研究變得非常復(fù)雜，導(dǎo)致進(jìn)展異常緩慢，各種不同觀點(diǎn)長期并存。近十年來，美國伊利諾伊大學(xué)香檳分校電子工程學(xué)院人類語音識(shí)別實(shí)驗(yàn)室在輔音感知線索研究方面，特別是爆破音和摩擦音的研究方面，取得了一系列革命性的成果，但在鼻輔音的研究上，由于其復(fù)雜性，在本文之前，仍處于初步探索階段。已有的分析方法還無法解釋鼻輔音感知實(shí)驗(yàn)中所遇見的很多現(xiàn)象，有些實(shí)驗(yàn)結(jié)果甚至相互矛盾。本論文中絕大部分工作是作者在該實(shí)驗(yàn)室聯(lián)合培養(yǎng)的四年多時(shí)間里完成的，利用其先進(jìn)的研究理念

3、、研究方法和實(shí)驗(yàn)條件，結(jié)合鼻輔音的特點(diǎn)，最終取得了令人滿意的結(jié)果，找到了自然語音中適用于不同發(fā)音人的相對(duì)穩(wěn)定的鼻輔音感知線索，并研究了其相關(guān)感知屬性。主要研究工作和成果有：
　　1.研究并總結(jié)了語音感知的運(yùn)動(dòng)理論、直接感知理論、模糊邏輯模型、Fletcher-Allen模型等語音感知理論和模型，并對(duì)它們的優(yōu)點(diǎn)和不足進(jìn)行了分析。研究了探索感知線索的方法和表征感知線索的各種參數(shù)(如濁音起始時(shí)間)。發(fā)現(xiàn)許多重要的研究為了控制語音變異性，

4、均采用了合成語音的方法。但合成語音要求研究者對(duì)聲音信號(hào)有先驗(yàn)知識(shí)，只能包含研究者已了解的，或者希望包含的那部分聲音信號(hào)。而使用自然語音作為激勵(lì)，又存在激勵(lì)選擇的非代表性等問題。最終導(dǎo)致的結(jié)果是：學(xué)者們至今仍然對(duì)不同輔音的感知線索的時(shí)頻位置以及它們對(duì)輔音正確感知的充分性，必要性等結(jié)論眾說紛紜。
　　2.就耳蝸對(duì)語音信號(hào)的分解與壓縮理論、掩蔽理論、混淆矩陣、語音感知的多帶準(zhǔn)則、語音清晰度指數(shù)模型、語音可視化感知計(jì)算模型AI-gram等

5、語音感知線索所涉及的相關(guān)理論及常用工具進(jìn)行了研究和探討。在Fletcher-Allen模型的基礎(chǔ)上，研究了三維深度搜索法所基于的相關(guān)理論。基于三個(gè)獨(dú)立的心理聲學(xué)實(shí)驗(yàn)，結(jié)合鼻輔音的數(shù)據(jù)特點(diǎn)，提出了針對(duì)鼻輔音的數(shù)據(jù)分析方法，將其分為臨界非交疊型、交疊型、非交疊型三種不同的類型進(jìn)行了探索和研究。運(yùn)用局部化分析法，分析并研究了鼻輔音感知線索中的各組成部分對(duì)鼻輔音正確感知的充分性、必要性。發(fā)現(xiàn)部分鼻輔音的感知線索區(qū)域中含有兩個(gè)或兩個(gè)以上能獨(dú)立存在

6、，使受測者準(zhǔn)確辨識(shí)目標(biāo)音的部分，并將這種類型的感知線索定義為冗余感知線索。這一發(fā)現(xiàn)解決了很多之前研究中所遇見的不可解釋，甚至矛盾的現(xiàn)象。討論了鼻輔音感知線索的一致性和變異性、鼻輔音所含的沖突感知線索、魯棒性、感知線索最短必要持續(xù)時(shí)間之前的語音部分對(duì)感知的作用。找到了不同說話人不同噪音背景下相對(duì)穩(wěn)定的/n/的感知線索，其位于第二共振峰前端939-2164 Hz，/m/的感知線索位于第二共振峰前端363-1300 Hz。這一結(jié)論和其它幾種輔

7、音的感知線索結(jié)論一起，為進(jìn)一步的基于感知線索的語音信號(hào)處理方法打下了理論基礎(chǔ)，如基于感知線索的語音壓縮編碼算法、增強(qiáng)算法、噪音背景下的自動(dòng)識(shí)別算法等。
　　3.研究了用數(shù)字信號(hào)處理方法對(duì)鼻輔音感知線索的修改(增強(qiáng)、衰減、消除)對(duì)整個(gè)鼻輔音識(shí)別效果的影響。定義了用來衡量感知效果變化的感知曲線位移。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行非線性回歸和最小均方誤差計(jì)算得到了感知曲線位移。從?SNR、90SNR、?SNR和修改幅度的關(guān)系、?SNR?和?SNR?

8、的關(guān)系、90SNR和90SNR?的關(guān)系等不同角度和相關(guān)統(tǒng)計(jì)數(shù)據(jù)分析了感知線索的修改對(duì)正確識(shí)別感知所造成的影響。得出了關(guān)于感知線索的重要結(jié)論：僅僅對(duì)感知線索的修改(增強(qiáng)或衰減)，和對(duì)整體語音進(jìn)行修改的感知效果是基本相同的。這一結(jié)論不僅進(jìn)一步揭示了感知線索含有輔音的關(guān)鍵感知信息這一重要屬性，同時(shí)還為已經(jīng)找到的鼻輔音感知線索的正確性提供了有力的證據(jù)。這種以感知線索先驗(yàn)知識(shí)為基礎(chǔ)的語音信號(hào)處理方法為噪音下的語音增強(qiáng)提供了一種新的潛在有效方法。<

9、br>　　4.從音變角度對(duì)鼻輔音感知線索進(jìn)行研究。提出了鼻輔音/m/和/n/之間的轉(zhuǎn)換方法，其僅通過對(duì)感知線索的處理就可實(shí)現(xiàn)。通過對(duì)/na/的感知線索的消除，目標(biāo)音/na/最終實(shí)現(xiàn)了從/na/到/ma/的轉(zhuǎn)換；通過對(duì)/ma/中的沖突感知線索，即其中所包含的/na/的感知線索的增強(qiáng)，目標(biāo)音/ma/最終實(shí)現(xiàn)了從/ma/到/na/的穩(wěn)定轉(zhuǎn)換。/ma/和/na/之間穩(wěn)定的相互轉(zhuǎn)換，從另外一個(gè)角度為已找到的鼻輔音感知線索的正確性提供了有力的證據(jù)。

10、同時(shí)，揭示了感知線索的一個(gè)潛在的用途——音變。
　　5.研究了鼻輔音共振區(qū)對(duì)正確感知鼻輔音的貢獻(xiàn)。設(shè)計(jì)并進(jìn)行了研究相關(guān)的心理聲學(xué)實(shí)驗(yàn)?；谙冗M(jìn)的語音感知可視化模型 AI-gram并結(jié)合已找到的鼻輔音感知線索，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了分析解釋。定義了輔音中類似鼻輔音共振區(qū)這樣的信息補(bǔ)充部分為“次要感知線索”。從主感知線索是否清晰的角度解釋了鼻輔音共振區(qū)的信息補(bǔ)充作用在實(shí)驗(yàn)數(shù)據(jù)上所表現(xiàn)出來的時(shí)機(jī)，得出了關(guān)于正確感知得分的重要結(jié)論：鼻輔音共振區(qū)

11、對(duì)鼻輔音的正確感知有信息補(bǔ)充作用，且這種作用在感知得分上表現(xiàn)出來的時(shí)機(jī)，雖然和信噪比的高低有相關(guān)性，但并不是由信噪比的值來決定的，而是由鼻輔音的主感知線索是否清晰來決定的。也就是說即使在高信噪比條件下，如果感知線索不夠清晰，鼻輔音共振區(qū)一樣可以表現(xiàn)出信息補(bǔ)充作用。此結(jié)論從新的角度解釋了研究者由于使用不同激勵(lì)而得出不同結(jié)論的原因，從某種意義上來說統(tǒng)一了長期以來的爭論。通過分析鼻輔音共振區(qū)對(duì)混淆音模式的影響，得到了鼻輔音共振區(qū)對(duì)非鼻輔音混淆