無標注的中文長篇幅語音文語對齊的研究.pdf

1、文語對齊(Text-Speech Alignment)是以語音識別系統(tǒng)為基礎,對語音和文本在時間上進行強制對齊的過程。近年來,隨著互聯(lián)網的高速發(fā)展,網絡上的語音和文本資源也越來越多,將該部分語音和文本在時間上進行對齊是利用該資源的關鍵,因此文語對齊問題引起了越來越多研究人員的興趣。文語對齊技術是語音識別領域中的一項關鍵技術。傳統(tǒng)的方法是首先利用語音識別器對原始的語音進行識別,以得到包含時間信息的識別文本,并將該文本與原始文本進行對齊,以

2、得到兩者共同的部分。也就是將文本和語音對齊的問題轉換成文本與文本的對齊問題。經過對齊后的語音和文本數(shù)據(jù)可用于聲學模型的訓練、語音的評價、自動構建語料庫、多媒體檢索等領域。為了提高文語對齊的準確率和魯棒性,通常需要以經過大量有標注數(shù)據(jù)訓練的語音識別器為基礎。然而,為了得到有標注的訓練數(shù)據(jù)往往需要耗費大量的財力、人力和物力,同時所需要的周期也相對較長,成本較高。
　　本文在論述國內外文語對齊技術發(fā)展的基礎上,提出了一種不依賴于有標注數(shù)

3、據(jù)訓練的語音識別器的文語對齊算法。利用該算法可以自動的得到語音和文本在時間上對齊的數(shù)據(jù),并利用得到的數(shù)據(jù)訓練了一個基于三音素的連續(xù)語音識別器,以說明該算法在實際中的應用。首先,為了擺脫對有標注訓練數(shù)據(jù)的依賴,提出了一種基于開放語音識別引擎(Google Voice Recognition,GVR)和有限狀態(tài)機語言模型的文語對齊算法,利用該算法能夠自動的得到在時間上對齊的語音和文本數(shù)據(jù),具體來說,首先是將原始的語音提交給 GVR進行識別,

4、以得到識別的結果文件。但是由GVR返回的結果文件中并不包含時間信息,而該時間信息是進行文語對齊的關鍵。為了得到該時間信息,接著對原始的語音和文本進行了第二次的識別。即利用由原始的語音和文本訓練的識別器作為聲學模型,并結合基于有限狀態(tài)機的語言模型對語音進行了重識別,以得到所需要的時間信息,完成文本和語音的對齊。利用得到的對齊語音和文本數(shù)據(jù)訓練一個聲學模型,并以該模型為核心,結合并改進了SailAlign算法來對文本和語音進行高效的、迭代的