基于SilAlign的中文語音文語對齊的研究.pdf

1、文語對齊是以語音識(shí)別器為基礎(chǔ)，在時(shí)間上對語音和文本進(jìn)行強(qiáng)制對齊的過程。文語對齊通常被應(yīng)用在多媒體檢索和訓(xùn)練一個(gè)大詞匯量的語音識(shí)別和合成系統(tǒng)。近年來網(wǎng)絡(luò)上可以獲取越來越豐富的音頻資源，促進(jìn)了語音和文本對齊的大規(guī)模研究。例如有聲書本，多媒體文檔等。對這些語音和文本，采用傳統(tǒng)的基于維特比的強(qiáng)制對齊算法被證明對于文本和語音不匹配或者語音存在噪聲的情況存在不足。
　　為了使語音和文本能夠避開這些限制，使用語音識(shí)別器對原始的語音進(jìn)行識(shí)別，從而

2、得到含有時(shí)間信息的識(shí)別文本，再把該文本與原始文本進(jìn)行對齊，來得到兩者共同的部分。這樣就把語音和文本的對齊問題轉(zhuǎn)化成為文本和文本的對齊問題，后一種問題的解決方案通常要求的計(jì)算量要少得多。SailAlign這一開源工具就是基于這種語音和文本對齊方法。
　　本論文利用修改的SailAlign算法進(jìn)行中文的文語對齊研究。在語音多于文本的情況下，我們進(jìn)行了實(shí)驗(yàn)，并對其結(jié)果進(jìn)行分析。最后我們還實(shí)現(xiàn)了自動(dòng)化的文語對齊。
　　本文的主要研究

3、工作如下:
　　首先，由于SailAlign算法不支持中文，所以我們修改了SailAlign的配置文件，并且添加了中文的語言模型和聲學(xué)模型，從而能夠使用SailAlign進(jìn)行中文的文語對齊研究。聲學(xué)模型和語言模型是用大量的新聞聯(lián)播的語音和文本數(shù)據(jù)訓(xùn)練得到的，使用SailAlign算法對語音和文本進(jìn)行文語對齊的過程是迭代的和自適應(yīng)的。通過實(shí)驗(yàn)我們對SailAlign算法在語音多于文本的情況下進(jìn)行文語對齊的正確率進(jìn)行了分析和比較。實(shí)驗(yàn)

4、表明，在語音多于文本的情況下，利用該算法得到的語音和文本進(jìn)行對齊的正確率比較高。
　　接下來我們通過SailAlign算法進(jìn)行文語對齊以后，然后再把對齊的語音和文本數(shù)據(jù)分割出來，就可以得到一一對應(yīng)的語音和文本。為了節(jié)省時(shí)間，提高效率，我們把SailAlign文語對齊的整個(gè)過程用一個(gè)shell腳本實(shí)現(xiàn)自動(dòng)化，整個(gè)過程都是在Linux這一個(gè)平臺(tái)下運(yùn)行的。該自動(dòng)化的文語對齊過程分為三個(gè)模塊，分別為文本和語音的預(yù)處理，SailAlign的