個性化語音生成研究.pdf

1、個性化語音生成是指生成具有特定說話人特征的語音。個性化語音生成的應(yīng)用非常廣泛，比如可以改變語音合成系統(tǒng)的語音以提供個性化的合成語音，或在語音聊天、在線游戲中隱藏說話人的真實身份，也可以在多媒體彩信中模仿他人以達到娛樂的效果等。目前最常用的個性化語音生成方法有兩種：一是說話人轉(zhuǎn)換方法：二是語音合成模型自適應(yīng)方法。兩種方法有著各自的優(yōu)缺點，適用于不同的應(yīng)用場合。本文對這兩種方法的特點和聯(lián)系進行探討，針對不同方法存在的問題和應(yīng)用的實際需求進行

2、改進，并通過系統(tǒng)評測驗證了改進的效果。論文包括五部分內(nèi)容：
　　 在第一部分，論文將對個性化特征、個性化語音生成的實際需求以及不同個性化語音生成方法的特點和使用場景進行總結(jié)分析。首先對人的發(fā)音過程的聲學(xué)機理和數(shù)學(xué)模型進行了簡要介紹，在此基礎(chǔ)上總結(jié)了不同的說話人特征參數(shù)。然后對個性化語音生成的實際需求進行分析，并對個性化語音生成方法的優(yōu)缺點和適用場景進行討論。
　　 在第二部分，論文則是對最常用的兩類說話人轉(zhuǎn)換方法：基于G

3、MM的方法和基于碼本映射的方法，進行一個系統(tǒng)的分析。論文首先介紹GMM方法以及幾種最重要的分支。接下去，對Abe的經(jīng)典碼本映射方法以及Alsan提出的STASC碼本映射方法進行介紹。之后，論文將對這兩種方法進行一個系統(tǒng)的分析比較，指出各自的優(yōu)點和不足。最后，將討論在實踐中發(fā)現(xiàn)的GMM方法和碼本映射方法存在的兩個共同的問題：1.源和目標說話人對應(yīng)數(shù)據(jù)的不匹配問題；2.轉(zhuǎn)換頻譜的過平滑問題。這些分析和討論將指引本文探索新的說話人轉(zhuǎn)換方法。<

4、br>　　 論文在第三部分，針對現(xiàn)有說話人轉(zhuǎn)換方法存在的問題，提出了一種基于頻譜彎曲的說話人轉(zhuǎn)換方法，其中頻譜彎曲函數(shù)是基于源說話人和目標說話人的映射共振峰參數(shù)生成。這種方法有兩個優(yōu)點：一是所需訓(xùn)練數(shù)據(jù)非常少。二是轉(zhuǎn)換語音具有較高的音質(zhì)。為了進一步提高與目標說話人的相似度，論文提出了一種結(jié)合頻譜彎曲和單元挑選的說話人轉(zhuǎn)換方法以提高頻譜細節(jié)上的相似度。該方法首先進行頻譜彎曲，然后將彎曲后的頻譜作為目標進行單元挑選。接下去將部分彎曲后的頻

5、譜用挑選到的目標說話人的真實頻譜進行替換，最后重構(gòu)出轉(zhuǎn)換后的語音。評測結(jié)果表明，基于本文的頻譜彎曲方法獲得的轉(zhuǎn)換語音音質(zhì)遠優(yōu)于其他方法，并且在音質(zhì)和相似度上取得較好的平衡。評測結(jié)果同時表明結(jié)合頻譜彎曲和單元挑選可以比頻譜彎曲獲得顯著的相似度提高。
　　
　　 論文在第四部分，針對多語種語音合成系統(tǒng)遇到的實際問題，創(chuàng)新性地利用語音合成模型自適應(yīng)和說話人轉(zhuǎn)換方法相結(jié)合的個性化語音生成實現(xiàn)多語種語音合成系統(tǒng)。當(dāng)今社會，中英文

6、混合的文本越來越多。為了保證合成語音的自然連貫，通常要求中英文混合的文本內(nèi)容用一個聲音合成出來。然而，由于很多中文發(fā)音人的英文并不專業(yè)，直接用這種不專業(yè)的英文訓(xùn)練出來的模型合成的英文聽起來會很不自然。這里，我們提出使用個性化語音生成方法借助一個英文母語發(fā)音人的模型，以獲得更自然的中文說話人音色的英文合成語音。在使用最大似然語音合成模型自適應(yīng)修改頻譜模型的同時，我們利用說話人轉(zhuǎn)換的韻律調(diào)整對韻律模型進行修改以獲得更自然的合成韻律。評測結(jié)果