韻律短語預測韻律和句法結構的交叉依賴性

1、XIMERA中的漢語語音合成技術倪 晉富　坂井 信輔　中村 哲 （NICT/ATR-SLC）(2008/03/22),日本中國語學會關東支部擴大會議?中央大學,發(fā)表概要,語音合成系統(tǒng)概述 演示 相關工作,語調轉換 韻律再合成 強化虛詞處理,語音合成系統(tǒng)略圖,源濾波器型合成器,波形拼接型合成器,注：語音合成系統(tǒng)合成語音，但現在的合成系統(tǒng)并不具有文本理解能力。,,,分詞、詞性標記及發(fā)音生成,,詞典,語言模型,文本規(guī)

2、范化,,口語規(guī)則,,,口語規(guī)則,,,語音參數預測,,聲學模型,,單元選擇及波形拼接,,語音數據庫,,輸入文本,輸出合成語音,,,,說什么,,,,怎么說,房價是＄150。,房價是一百五十美元。,房價 是 一百五十 美元 。 名詞 動詞 數詞 名詞 符號 fang2jia4 shi4 yi1bai2wu3shi2mei3yuan2,1 句子基頻曲線2 音素時長參數3 能量參數4 譜參數,XIMERA漢語語

3、音合成概述,韻律詞及短語預測,文本規(guī)范化,符號,數詞,詞典構成,,(290,624條漢語詞及符號),語言模型,分詞及詞性標記評價,分析軟件：和布蕪 訓練語料庫：人工檢查過詞邊界及詞性標記訓練集大小：含有2,406,780詞的句子測試集(訓練集外)大?。汉?,396,950詞的句子,Mecab (http://mecab.sourceforge.net）,長 【名詞】 chang2 長 1米長 【動詞】 zhang3 長

4、 1米藏 【名詞】 zang4 藏 族藏 【動詞】 cang2 藏 東西地 【名詞】 di4 種 地 地 【助詞】 de0 慢慢 地好 【形容詞】 hao3 好 吃好 【副詞】 hao4 好 吃圈 【名詞】 juan4 羊 圈圈 【動詞】 quan1 圈 東西…,調 【動詞】 tiao3 調 音量 調 【動詞】 diao4 調 文件系 【動詞】 ji4

5、 系 鞋帶系 【動詞】 xi4 系 哺育類…,拼音轉換評價,測試集：約15000句(229,332音節(jié))，人工檢查過拼音有調音節(jié)正確率：97.0%無調音節(jié)正確率：99.2%,典型錯誤分析:,詞性錯誤,模糊性,韻律參數預測,平價商店選購。,語言特征,聲學特征,聲學模型,,HMM模型訓練,,(約1.5小時語音),,1 句子基頻曲線2 音素時長參數3 能量參數4 譜參數,基頻,,句子基頻曲線、音節(jié)位置時長、能量參數、譜

6、參數,音節(jié)，聲調，前音節(jié)聲調，后音節(jié)聲調該音節(jié)所在詞的詞性，詞長，在短語中前、后位置(音節(jié)數)該音節(jié)所在短語長，短語在句中前后序號，前位置(音節(jié)數),實驗材料： 8874句(8.3小時語音) 考察標點 、，：；??？。 破折號及省略號 100ms以上的停頓:7093個 300ms以上的停頓:3610個,實驗結果及觀察： 99%的逗號處伴隨有100ms以上的停頓 ? 標點是重要的停頓標志 57.4%的停頓(100ms以

7、上)非與標點相連 ? 僅標點處停頓顯然是不足夠的 86%的韻律短語長為3至9個音節(jié),韻律短語預測,韻律和句法結構的交叉依賴性,實驗材料： 1091句(3小時語音) 句子選自PENN Treebank n交叉：n個句法分枝橫切一韻 律短語; 0交叉表示韻律短語是 一句法短語的子串,觀察： 大約有26.7%的停頓(短語內含1-5交叉)是不能由句法結構來預測。,實驗結果:,語音數據庫,,合成樣本演示,您好,下面是幾例有關旅行

8、會話和新聞方面的漢語語音合成樣本.,您是用現金還是用信用卡付款?,請告訴我您的姓名和房間號。,美國民主黨總統(tǒng)參選人奧巴馬 先后贏得威斯康辛州和夏威夷州初選，挫敗對手希拉里，這是他自“超級星期二”以來取得的連續(xù)第10場勝利。共和黨方面，麥凱恩再次壓倒對手赫卡比，進一步鎖定他在共和黨總統(tǒng)參選人提名戰(zhàn)中的勝局。,（倫敦／紐約綜合訊） 國際油價星期二在紐約隔夜市場大幅飆升，收盤價首度突破100美元，盤中一度觸及每桶100.10美元的歷史新高。,

9、,陳述-疑問語調相互轉換(分析合成例子),過路客照相,紅鼻頭沒權,陳述句 ? 疑問句,陳述句 ? 疑問句,都快八點了。,都快八點了。,都快八點了。,韻律再合成,,,語音波形,基頻波形,,語音波形,基頻波形,我想 起來了,我 想起來了,【趨向動詞】,【一般動詞】,需要強化虛詞處理,,,起來,與動詞相關聯(lián)的例子:【了著過】安排了/過 /著 三次報告會【動介】安排給 /在 南方【重疊】安排安排 生活【結果】安排得著/ 不著/

10、成/ 不成/ 好/ 不好/ 得上/不上/下/不下 生活【趨向】安排上來/上去/下來/下去/進來/進去/出來/進去 幾個客人【趨向】安排幾個客人 上來/上去/下來/下去/進來/進去/出來/進去【趨向】安排上/下 / 進/出 幾個客人來 /去【趨向】安排得過來 /不過來 /得開 /不開 /起來 球賽【趨向】安排起 球賽 來 了【趨向】安排到 計劃里 去 / 來,從韻律特征上看，虛詞和實詞存在一定區(qū)別；從會話角度看，處理好虛詞更