高自然度漢語語音合成韻律預測技術(shù)研究.pdf

1、隨著多媒體通信技術(shù)的不斷發(fā)展，作為人機通信重要方式之一的語音合成技術(shù)以其方便、快捷的優(yōu)點受到了研究者的廣泛關(guān)注。語音合成的目標是使合成的語音可懂、清晰、自然而富有表現(xiàn)力。目前漢語語音合成已經(jīng)很好地解決了清晰度和可懂度的問題，但是合成語音的自然度和表現(xiàn)力仍不盡如人意。合成語音和自然語音除了在音質(zhì)上存在一定的差距以外，在韻律表達上也存在著很大差距，而韻律表現(xiàn)得好壞是影響合成語音自然度和表現(xiàn)力的關(guān)鍵，其具體表現(xiàn)在對節(jié)奏、輕重音、語調(diào)等的處理上

2、；另外，合成語音缺少變化，如說話人對不同情感的表達不夠恰當，也是合成語音聽起來缺乏人情味的主要原因。
　　韻律預測是合成系統(tǒng)的一個重要組成部分，韻律預測的結(jié)果將對最終合成語音韻律的表達有著直接影響。通常韻律預測包括對文本層韻律表示的預測和對聲學層韻律參數(shù)的預測。文本層的韻律表示包括如停頓、輕重音、語調(diào)等；而聲學層韻律參數(shù)則包括音高、音強、時長等，通常用韻律模型進行估計。本文從停頓預測、重音預測、韻律模型構(gòu)建等角度來研究合成系統(tǒng)中韻

3、律的自動預測問題，從而進一步提高合成語音的自然度。具體地講，本文的研究內(nèi)容主要從如下四個方面展開：
　　1、采用可進行基元修改的波形拼接技術(shù)，建立一個基于大規(guī)模中性語音庫和小規(guī)模情感語音庫相結(jié)合的漢語語音合成系統(tǒng)。對比韻律類參數(shù)和音質(zhì)類參數(shù)對合成語音的影響，得出二者對情感語音合成都有著重要影響，但韻律類參數(shù)起主導作用的結(jié)論。同時提出通過修改頻譜包絡(luò)綜合地調(diào)整音質(zhì)類參數(shù)來合成情感語音的方法，并通過實驗驗證這一方法的有效性，從而改善了

4、以往為各個音質(zhì)類參數(shù)單獨建模、不夠靈活的不足。
　　2、從特征和模型兩個角度研究語音合成系統(tǒng)中停頓指數(shù)的預測問題。在特征方面，采用詞性、詞長、標點、位置信息等淺層特征解決韻律詞及語調(diào)短語的預測問題；針對淺層特征對韻律短語等中間韻律結(jié)構(gòu)劃分不夠準確的不足，提出了基于依存分析得到的深層特征，如弧數(shù)、內(nèi)弧跨度、內(nèi)弧類型等的停頓預測方法。在模型方面，嘗試了N-gram模型、馬爾科夫模型和決策樹等方法，用于解決語法詞之間標注點的停頓指數(shù)的預

5、測。除此之外，針對長語法詞的內(nèi)部劃分問題，提出了一種長詞內(nèi)部切分模型。對于情感停頓指數(shù)的預測，提出了將基于錯誤學習的情感驅(qū)動和基于大規(guī)模中性語料訓練出的模型相結(jié)合的方法，并通過實驗證明采用大規(guī)模的中性訓練模型進行情感語料停頓標注是可行的。
　　3、根據(jù)聽感建立自然風格的漢語重音標注語料庫，分析輕聲、重讀音節(jié)同正常重音在基頻、音節(jié)時長、強度、停頓長度等聲學參數(shù)上的差異，研究時長與基頻參數(shù)之間的關(guān)系、上聲音調(diào)同基頻的關(guān)系。提出了基于人

6、工神經(jīng)網(wǎng)絡(luò)的三種句重音等級自動預測模型：利用聲學參數(shù)建立聲學重音預測模型；利用聲調(diào)、詞性、詞位置、停頓指數(shù)等文本特征建立重音的語言學預測模型；綜合利用聲學參數(shù)和語言學參數(shù)，建立混合模型。另外，針對重音標注存在多樣性的現(xiàn)象，提出支持率的評價方法。
　　4、研究中性和情感漢語語音合成系統(tǒng)的韻律模型的構(gòu)建，包括時長預測模型和基頻預測模型。采用基于人工神經(jīng)網(wǎng)絡(luò)的方法建立時長模型。采用基于語料庫的韻律生成以及基于基頻模式的兩種方法來建立基頻