語音識(shí)別的翻譯

1、自然話語識(shí)別的字典自然話語識(shí)別的字典學(xué)習(xí)學(xué)習(xí)斯諾波達(dá)，亞力懷貝爾互動(dòng)系統(tǒng)實(shí)驗(yàn)室斯諾波達(dá)，亞力懷貝爾互動(dòng)系統(tǒng)實(shí)驗(yàn)室卡爾斯魯厄大學(xué)卡爾斯魯厄大學(xué)卡爾斯魯厄，德國卡爾斯魯厄，德國卡耐基梅隆大學(xué)卡耐基梅隆大學(xué)匹茲堡，美國匹茲堡，美國摘要摘要自然語音給語音識(shí)別增加了新任務(wù)：端點(diǎn)檢測(cè)，人類和非人類的噪聲，新詞和其他非正常發(fā)音。當(dāng)將一個(gè)語音識(shí)別系統(tǒng)應(yīng)用于自然語音時(shí)，所有這些現(xiàn)象都需要解決。在本文中，我們將關(guān)注如何自動(dòng)的將語音詞典擴(kuò)展和應(yīng)用到自然語音識(shí)

2、別。特別對(duì)于自然語音而言，重要的根據(jù)語音在數(shù)據(jù)庫中出現(xiàn)的頻率，而非詞匯中的“正確”發(fā)音來選擇一個(gè)單詞的讀音。因此，我們提出了一個(gè)數(shù)據(jù)加載方法，通過模擬數(shù)據(jù)庫中已給出的單詞把新的發(fā)音添加到已有的語音詞典中。我們將展示這種程序?qū)⑷绾卧斐銎渌l(fā)音元組，以及一些經(jīng)常被錯(cuò)誤識(shí)別的單詞。我們還將討論如何通過語音識(shí)別系統(tǒng)歸納已找到的發(fā)音，將知識(shí)進(jìn)一步的整合到語音識(shí)別系統(tǒng)中。GSST已經(jīng)利用JANUS2語音識(shí)別引擎和卡耐基梅隆大學(xué)與卡爾斯魯厄大學(xué)的交互

3、系統(tǒng)實(shí)驗(yàn)室的自然語音翻譯進(jìn)行了試驗(yàn)。1.引言引言對(duì)一個(gè)語音識(shí)別系統(tǒng)而言，語音字典是主要的知識(shí)來源之一，這保證了語音識(shí)別過程中假定的有效性。不過與聲音模擬或者語言模擬相比，它往往被認(rèn)為不太重要。在連續(xù)語音識(shí)別系統(tǒng)中，研究人員經(jīng)常使用一個(gè)單詞的“正確”發(fā)音，譬如這個(gè)發(fā)音可以在詞典中找到。但是，這種“正確”的發(fā)音，對(duì)于一個(gè)已給的任務(wù)（尤其是自然語音），往往不是最常見的變異的讀法，并且，考慮到目前的聲音模擬，這種“正確”的發(fā)音也不一定能帶來最好

4、的語音識(shí)別表現(xiàn)。如果字典中的音標(biāo)與數(shù)據(jù)庫中實(shí)際情況不匹配，在聲學(xué)不足的訓(xùn)練過程中，語音單位將被損壞，而這將降低整體性能。國家文藝語音識(shí)別系統(tǒng)開始投入更多的努力來制作帶有變異讀音和縮略詞的字典，這些詞典同樣能模擬替代發(fā)音，如協(xié)同構(gòu)音詞。當(dāng)我們想要提高語音識(shí)別系統(tǒng)的整體性能時(shí)，我們特別感興趣的是給定任務(wù)的最常見發(fā)音，更好的模擬常被錯(cuò)誤識(shí)別的單詞以及有著強(qiáng)烈的方言變異的單詞順序。我們將展示程序如何學(xué)習(xí)單詞的發(fā)音，從而學(xué)習(xí)例如協(xié)同詞那樣的替代發(fā)

5、音效果，單詞的方言變異和單詞順序。2.字典字典學(xué)習(xí)學(xué)習(xí)通常是通過手工或利用語音規(guī)則來修改字典。手工調(diào)整和修改，需要一個(gè)字典專家。尤其是當(dāng)任務(wù)在不斷增加或者系統(tǒng)要用于新的任務(wù)，將有大量的新單詞添加到詞典中，這將費(fèi)時(shí)又費(fèi)力。手工添加詞典的條目通常關(guān)注單個(gè)單詞的出現(xiàn)，并沒有改善整體的識(shí)別性能。此外，這還容易出錯(cuò)。所有下面的錯(cuò)誤都可能在手工修改時(shí)引入語音字典。隨著基本的語音單位的增加（通常介于40至100之間）和字典中的條目數(shù)的增加，在詞典條目

6、間持續(xù)應(yīng)用語音單位將變得越來越困難。專家傾向于使用“正確”的單詞發(fā)音，而對(duì)于一個(gè)已給定的任務(wù)來說，這往往并不是使用最頻繁，甚至不是最可能的發(fā)音。實(shí)際發(fā)音和“正確”的發(fā)音可能很不一樣。在自然語音和方言中有大量的替代發(fā)音，而這些往往不易預(yù)測(cè)。外國文字和名稱的發(fā)音就是很好的例子。8.識(shí)別再培訓(xùn)的語音時(shí)候，允許在訓(xùn)練時(shí)使用多個(gè)發(fā)音。9.可選步驟的糾正音素訓(xùn)練可被演示。10.在驗(yàn)證設(shè)置上對(duì)識(shí)別結(jié)果和修改后的識(shí)別字典進(jìn)行測(cè)試。11.將所有的新變種創(chuàng)

7、建成一個(gè)新的音素語音模型平滑識(shí)別器。12.可選的第二個(gè)方案：在步驟5中，音素矩陣是用來拒絕混淆該識(shí)別器的音素變體之間的變種，因此會(huì)導(dǎo)致錯(cuò)誤的訓(xùn)練。（例如：如果拒絕變異德語單詞“dann”，因?yàn)橐羲豊和M是高度易混淆的）。在語音單位上這將進(jìn)一步避免潛在污染。第8步更準(zhǔn)確的訓(xùn)練數(shù)據(jù)和更好的把握語音單位。在第11步，新的音素語音模型采用統(tǒng)計(jì)知識(shí)（類似于語音規(guī)則）對(duì)已經(jīng)觀察到音素序列進(jìn)行計(jì)算，并在下一次使用這種算法應(yīng)用。4.實(shí)驗(yàn)設(shè)定實(shí)驗(yàn)設(shè)定4.

8、1數(shù)據(jù)庫和基準(zhǔn)系統(tǒng)數(shù)據(jù)庫和基準(zhǔn)系統(tǒng)這個(gè)文件里的所有實(shí)驗(yàn)在德國的數(shù)據(jù)庫稱為德國自發(fā)性調(diào)度任務(wù)，它被收集作為VERBMOBIL項(xiàng)目的一部分。在這里人與人自發(fā)的對(duì)話被收集在德國四個(gè)不同的網(wǎng)站上。兩個(gè)人被給予各種各樣不同的約定，必須找到一個(gè)適合他們的時(shí)段。測(cè)試詞匯包含了超過3300個(gè)條目。訓(xùn)練測(cè)試對(duì)話6088話語10735110詞2811602346詞匯量5442543表1GSST數(shù)據(jù)庫對(duì)于這個(gè)實(shí)驗(yàn)，我們采用JANUS2的混合LVQHMM識(shí)別器

9、，我們自發(fā)的語音到語音翻譯系統(tǒng)，采用包括噪聲模型的69個(gè)獨(dú)立的音素語音模型。4.2實(shí)驗(yàn)實(shí)驗(yàn)在我們第一組實(shí)驗(yàn)中，我們用反復(fù)訓(xùn)練進(jìn)行了上一節(jié)所述所有步驟。表2總結(jié)了第一批成果和它們與基線系統(tǒng)不使用替代發(fā)音的比較。在實(shí)驗(yàn)A1中，我們生成了在字典中不影響同音字的替代發(fā)音。在實(shí)驗(yàn)A2中，我們使用額外音素矩陣拒絕變種，它是易混淆識(shí)別的。對(duì)于第二套實(shí)驗(yàn)，我們稍微的改善了基線系統(tǒng)。表3總結(jié)反復(fù)培訓(xùn)后的結(jié)果和不使用其他發(fā)音與基線系統(tǒng)B的比較。在實(shí)驗(yàn)B1中