人眼驅(qū)動語音合成的若干關(guān)鍵技術(shù)研究.pdf

1、伴隨信息技術(shù)、人工智能的不斷發(fā)展，語音合成在人機(jī)交互技術(shù)中受到越來越多的重視。但目前語音合成的主要問題在于合成的自然度、表現(xiàn)力不夠，還不能接近自然語言的標(biāo)準(zhǔn)；同時語音合成的人機(jī)交互方式較為單調(diào)，缺乏使用者主觀驅(qū)動的機(jī)制。
　　 本文首先對語音合成的歷史發(fā)展進(jìn)行了介紹，并總結(jié)了語音合成的一般過程，進(jìn)而指出影響合成效果的重要環(huán)節(jié)是語音合成時的韻律生成模塊。在深入研究的基礎(chǔ)上，認(rèn)為一方面可以引入新的人機(jī)交互手段來豐富語音合成的形式，提

2、出了利用閱讀時人的眼睛活動規(guī)律，主觀控制驅(qū)動韻律生成；另一方面又充分利用機(jī)器學(xué)習(xí)的方法挖掘韻律規(guī)則，建立模擬精度更高的韻律模型。
　　 時長模型和重音模型是韻律生成要解決的關(guān)鍵問題。在時長韻律模型方面，提出了用閱讀時的眼動注視時長，對合成語音的發(fā)音時長進(jìn)行同步控制的思路。人的眼動閱讀過程是一個綜合、多因素交叉作用的復(fù)雜過程，如注視、眼跳、回視等；且語音編碼和眼動控制是兩個并行的獨(dú)立系統(tǒng)。因此研究人眼驅(qū)動的“眼動時長”，就要權(quán)衡各

3、種因素的影響，獲取人眼注視的時長規(guī)律，以此作為眼動時長建模依據(jù)。在重音韻律模型方面，提出ELM極限學(xué)習(xí)機(jī)和半監(jiān)督SELM機(jī)器學(xué)習(xí)方法用于重音預(yù)測，并通過實(shí)驗(yàn)進(jìn)行了比對驗(yàn)證。本文還對語義重音的預(yù)測進(jìn)行了探索性研究，由于語義重音取決于人的主觀意識表達(dá)，本文嘗試統(tǒng)計(jì)分析人的眼動信號與重音的聯(lián)系，實(shí)驗(yàn)結(jié)果表明眼動注視時長和注視次數(shù)等特征和情境語義中的重音級別有相關(guān)性。
　　 圍繞以上幾個方面，本文的主要工作和創(chuàng)新點(diǎn)如下：
　　

4、1.提出利用人閱讀時的眼動信號來驅(qū)動語音合成的方法，將眼動控制引入到語音合成的人機(jī)交互中。該方法對豐富人機(jī)交互的形式，或者殘疾人輔助語音交互方面都有廣泛的現(xiàn)實(shí)意義和應(yīng)用前景。
　　 基于對現(xiàn)有的三種眼動控制模型的分析和內(nèi)隱韻律閱讀的特點(diǎn)，著重剖析了眼動閱讀過程中，對文字的語音加工系統(tǒng)和眼動控制系統(tǒng)的相對獨(dú)立性；證明了在文本熟悉度一致的條件下，閱讀的眼動注視時長窗口和內(nèi)部語音的發(fā)音時長窗口的同步關(guān)系；在此基礎(chǔ)上提出了基于漢語層級韻

5、律結(jié)構(gòu)的眼動時長模型。該模型改變了以往對語音時長采用機(jī)器學(xué)習(xí)、概率預(yù)測的方法，傾向于捕獲閱讀者真正的內(nèi)部閱讀韻律，合成帶有個性化節(jié)奏的語音。
　　 2.提出單隱含層前饋神經(jīng)網(wǎng)絡(luò)ELM極限學(xué)習(xí)機(jī)用于漢語重音預(yù)測。
　　 ELM極限學(xué)習(xí)機(jī)繼承了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)泛化性能好的特點(diǎn)，使用單隱含層連接輸入和輸出權(quán)值矩陣。該算法可以適應(yīng)任意輸入權(quán)值和偏置向量，具有更強(qiáng)的泛化能力和更低的算法復(fù)雜度。實(shí)驗(yàn)分別使用ELM極限學(xué)習(xí)機(jī)和以RBF為核

6、函數(shù)的SVM兩種機(jī)器學(xué)習(xí)算法進(jìn)行了漢語重音預(yù)測實(shí)驗(yàn)；對比了重音預(yù)測的正確率和算法執(zhí)行時間；實(shí)驗(yàn)數(shù)據(jù)表明，該神經(jīng)網(wǎng)絡(luò)模型在保證預(yù)測精確度的基礎(chǔ)上大大提高了重音分類學(xué)習(xí)和預(yù)測的速度，證明了該算法的有效性。
　　 3.提出改進(jìn)的基于半監(jiān)督策略的SELM極限學(xué)習(xí)機(jī)模型，并且將其用于漢語重音預(yù)測。
　　 SELM適用于訓(xùn)練樣本集中只存在少量的已標(biāo)注樣本的情況。該算法在已標(biāo)注樣本學(xué)習(xí)基礎(chǔ)上，對未標(biāo)記樣本進(jìn)行置信度閾值檢驗(yàn)。檢驗(yàn)采用交

7、換訓(xùn)練集和預(yù)測集的方法，最終確定高置信度的擴(kuò)充樣本。實(shí)驗(yàn)使用SELM算法在未標(biāo)注樣本倍增的前提下進(jìn)行重音預(yù)測，證明了SELM算法在少量標(biāo)注樣本的基礎(chǔ)上對未標(biāo)注樣本的分類仍具有較高的正確率和執(zhí)行效率。該半監(jiān)督策略的機(jī)器學(xué)習(xí)算法為在減少樣本標(biāo)注工作量的前提下獲得大量樣本的高效率預(yù)測提供了一種有效的解決辦法。
　　 4.提出以眼動注視特征進(jìn)行語義重音預(yù)測的探索性研究。
　　 本文以一組眼動重音預(yù)測實(shí)驗(yàn)，對使用眼動數(shù)據(jù)預(yù)測情境語

8、料中的語義重音進(jìn)行了探討，并使用三種神經(jīng)網(wǎng)絡(luò)模型對眼動實(shí)驗(yàn)樣本進(jìn)行分類實(shí)驗(yàn)。結(jié)果表明，眼動注視時長和注視次數(shù)等特征和情境語義中的重音級別有相關(guān)性。
　　 5.引入基于語調(diào)疊加的Fujisaki模型的基頻建模方法，討論了基頻曲線生成和韻律修改。
　　 本文概述了該建模方法的執(zhí)行流程。即以語調(diào)疊加的基頻參數(shù)化模型--Fujisaki模型為原型，在合成時長歸一化的原始語音基礎(chǔ)上，總結(jié)眼動時長模型的韻律生成和重音預(yù)測的結(jié)果，提出