基于深度學(xué)習(xí)的小尺度單元拼接語(yǔ)音合成方法研究.pdf

1、語(yǔ)音合成技術(shù)旨在實(shí)現(xiàn)文本等輸入信息到語(yǔ)音波形的轉(zhuǎn)換。統(tǒng)計(jì)參數(shù)語(yǔ)音合成方法以及單元挑選與波形拼接方法是現(xiàn)階段實(shí)現(xiàn)語(yǔ)音合成的兩類(lèi)主流方法。前者具有系統(tǒng)自動(dòng)構(gòu)建、合成語(yǔ)音平滑流暢等優(yōu)點(diǎn)。但是受制于參數(shù)合成器等因素，其合成語(yǔ)音的自然度仍不夠理想。在統(tǒng)計(jì)聲學(xué)模型指導(dǎo)下使用幀級(jí)長(zhǎng)度的小尺度單元進(jìn)行單元挑選和波形拼接，是一種改進(jìn)統(tǒng)計(jì)參數(shù)方法合成語(yǔ)音自然度的有效途徑。傳統(tǒng)小尺度單元挑選方法使用隱馬爾科夫模型(hidden Markovmodel，HMM

2、)進(jìn)行聲學(xué)建模和代價(jià)函數(shù)計(jì)算。而近年來(lái)，以深度神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法已經(jīng)在統(tǒng)計(jì)參數(shù)語(yǔ)音合成的聲學(xué)建模中體現(xiàn)出了相對(duì)HMM的性能優(yōu)勢(shì)。
　　因此，本文圍繞基于深度學(xué)習(xí)的小尺度單元拼接語(yǔ)音合成方法開(kāi)展研究工作。一方面，研究了用于指導(dǎo)小尺度單元挑選的神經(jīng)網(wǎng)絡(luò)聲學(xué)建模方法，通過(guò)使用深度神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)等模型結(jié)構(gòu)，提升了傳統(tǒng)HMM模型的建模精度與合成語(yǔ)音質(zhì)量;另一方面，提出了一種結(jié)合單元挑選和參數(shù)生成的語(yǔ)音合成方法，利用幀拼接方

3、法實(shí)現(xiàn)了激勵(lì)特征波形的生成，改善了傳統(tǒng)統(tǒng)計(jì)參數(shù)合成方法中對(duì)于相位等激勵(lì)信息建模能力的不足，提高了合成語(yǔ)音自然度。本文的研究工作具體如下:
　　首先，本文提出了基于深度神經(jīng)網(wǎng)絡(luò)的幀拼接語(yǔ)音合成方法。該方法使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建聲學(xué)模型用于幀挑選中的目標(biāo)代價(jià)與連接代價(jià)的計(jì)算，相對(duì)傳統(tǒng)HMM模型提高了模型的預(yù)測(cè)精度與合成語(yǔ)音的主觀質(zhì)量。
　　其次，本文研究了基于遞歸神經(jīng)網(wǎng)絡(luò)的小尺度單元挑選與波形拼接合成方法。該方法一方面采用結(jié)合長(zhǎng)短

4、時(shí)記憶單元的遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行聲學(xué)建模以改善深度神經(jīng)網(wǎng)絡(luò)的時(shí)序建模能力，另一方面引入多幀挑選策略以減少拼接點(diǎn)，取得了比基于深度神經(jīng)網(wǎng)絡(luò)的幀拼接方法更好的合成語(yǔ)音自然度。
　　最后，本文設(shè)計(jì)實(shí)現(xiàn)了結(jié)合單元挑選激勵(lì)生成的參數(shù)合成方法。該方法對(duì)提取的激勵(lì)特征波形進(jìn)行參數(shù)表征和聲學(xué)建模，在合成階段使用幀拼接方法生成激勵(lì)特征波形的高頻成分，同時(shí)使用參數(shù)生成方法預(yù)測(cè)濾波器特征，最終通過(guò)濾波合成語(yǔ)音波形。實(shí)驗(yàn)結(jié)果表明了該方法在改善統(tǒng)計(jì)參數(shù)方法合成