基于隱馬爾可夫模型的說話人轉(zhuǎn)換方法的相關(guān)研究.pdf

1、隨著目前語音合成技術(shù)的進(jìn)步，合成語音的音質(zhì)和自然度都有了很大的提高，因此，用戶對語音合成系統(tǒng)提出了更高的要求--多樣化的語音合成，包括多個發(fā)音人、多種發(fā)音風(fēng)格、多種情感以及多語種等語音的合成。在這一背景下，通過調(diào)整一個說話人的語音，使其聽起來像是另一個人說出來一樣的說話人轉(zhuǎn)換技術(shù)被提出。說話人轉(zhuǎn)換技術(shù)根據(jù)少量的目標(biāo)說話人的語音數(shù)據(jù)，對源說話人的語音參數(shù)進(jìn)行調(diào)整，從而得到目標(biāo)說話人的合成語音，并可以此實(shí)現(xiàn)多樣化的語音合成。為此，本文對基于

2、HMM(Hidden Markov Model)的說話人轉(zhuǎn)換技術(shù)進(jìn)行了詳細(xì)的介紹，并對其訓(xùn)練流程和關(guān)鍵技術(shù)進(jìn)行了改進(jìn)，最后，針對具體的應(yīng)用進(jìn)行了相應(yīng)的研究。本文按照如下幾個部分展開討論： 文章的第一部分主要是介紹了本文研究的背景和幾種主要的說話人轉(zhuǎn)換的方法。首先，簡單的描述了一下語音合成技術(shù)以及其近年來的發(fā)展。接下來，為了幫助我們更好的理解說話人轉(zhuǎn)換的原理，我們也對人的發(fā)音過程的聲學(xué)機(jī)理和數(shù)學(xué)模型進(jìn)行了系統(tǒng)介紹。這是因?yàn)?，說話人

3、轉(zhuǎn)換技術(shù)是對源說話人的音色進(jìn)行轉(zhuǎn)換使其聽起來像目標(biāo)說話人發(fā)出的。而為了實(shí)現(xiàn)說話人音色的轉(zhuǎn)換，通常需要對語音信號進(jìn)行激勵源和聲道濾波器的分離，以便對激勵信號和聲道模型分別進(jìn)行修改，然后再重新生成語音。最后我們對說話人轉(zhuǎn)換技術(shù)的發(fā)展和常用的幾種方法進(jìn)行簡要的介紹。 在文章的第二部分，主要介紹了基于HMM的說話人轉(zhuǎn)換的基本框架。由于基于HMM的說話人轉(zhuǎn)換技術(shù)是建立在基于HMM的語音合成系統(tǒng)的基礎(chǔ)上的，因此，本章首先介紹了 Tainab

4、le TTS(Text-to-Speech)的基本框架，并對其中的一些關(guān)鍵技術(shù)進(jìn)行了分析。接下來主要介紹了基于HMM的說話人轉(zhuǎn)換技術(shù)的一個重要環(huán)節(jié)--MLLR(Maximum Likelihood Linear Regression)模型自適應(yīng)算法，包括MLLR算法中HMM模型均值和方差轉(zhuǎn)換矩陣的估計(jì)方法以及回歸矩陣綁定的基本原理。最后基于上述基于HMM的說話人轉(zhuǎn)換的基本框架，進(jìn)行了女到女和女到男的說話人轉(zhuǎn)換實(shí)驗(yàn)，并且從合成語音的音質(zhì)、

5、自然度以及與目標(biāo)語音的相似程度三個方面進(jìn)行了主觀和客觀的評測實(shí)驗(yàn)。 文章的第三部分針對第二章中所介紹的基于HMM的說話人轉(zhuǎn)換的各主要技術(shù)環(huán)節(jié)，如基于MSD (Multi-space Distribution) -HMM基頻建模的模型自適應(yīng)、時長模型的自適應(yīng)、源說話人模型的訓(xùn)練和選擇、模型自適應(yīng)算法、考慮動態(tài)參數(shù)的參數(shù)生成算法等模塊；以及合成語音中的問題，如在自適應(yīng)數(shù)據(jù)很少時效果不佳、合成語音頻譜過于平滑等問題，分別進(jìn)行了分析和相

6、應(yīng)的改進(jìn)工作。主要的改進(jìn)包括：整合了自適應(yīng)流程，使頻譜、基頻、時長模型在相同的框架下進(jìn)行轉(zhuǎn)換；使用LSP (Line Spectral Pair) +DAL(Differential coefficients of Adiacent LSP)參數(shù)減輕頻譜過平滑的問題；使用共享決策樹聚類方法訓(xùn)練平均模型作為源說話人模型，從而提高模型自適應(yīng)的魯棒性；對模型自適應(yīng)算法進(jìn)行改進(jìn)，提高自適應(yīng)效果；針對不同的訓(xùn)練數(shù)據(jù)量，采用不同類型的轉(zhuǎn)換矩陣；改進(jìn)