漢語語音識別文本的自動糾錯研究.pdf

1、自然語言處理已歷時三十年了，熱潮莫過于機(jī)器翻譯。機(jī)器翻譯的熱潮過去后，逐漸進(jìn)入平靜、現(xiàn)實的務(wù)實階段。近期人們將目標(biāo)定在資料整理、因特網(wǎng)上檢索、摘要、過濾以及限定應(yīng)用領(lǐng)域的人機(jī)對話、語言服務(wù)等方面。本文介紹漢語語音識別文本自動糾錯的研究。 漢語語音識別技術(shù)己發(fā)展到一定階段，但連續(xù)漢語語音識別的效果離實用還有一定差距，表現(xiàn)之一是識別文本含錯多。 目前，學(xué)術(shù)界尚未明確提出語音識別文本的自動糾錯技術(shù)。從形式上看，語音識別文本的自

2、動糾錯也可以看成是文本自動校對技術(shù)在語音輸入方面的應(yīng)用。文本自動校對技術(shù)研究漢語輸入(鍵盤、OCR)的自動查錯和糾錯。但無論現(xiàn)象和原因，語音輸入出錯都比鍵盤、OCR復(fù)雜，語音識別錯誤的恢復(fù)繞不開對語音識別系統(tǒng)所用語言模型的研究。所以本質(zhì)上，語音識別文本的自動糾錯屬于語音識別后處理過程。本文雖題為文本糾錯，但不拘泥于文本層面，而是深入到語音識別系統(tǒng)內(nèi)部，從語音識別系統(tǒng)所用語言模型的角度研究出錯和糾錯。本文的工作，也圍繞語言模型和文本校對兩

3、條主線展開。 本文以主流產(chǎn)品——IBM公司的ViaVoice98中文連續(xù)語音聽寫系統(tǒng)和ViaVoiceTelephony電話語音識別系統(tǒng)作為研究系統(tǒng)實例。前者用于通用領(lǐng)域文本的輸入，后者用于限定領(lǐng)域(交通查詢)的信息提取?？紤]到目標(biāo)的難度，用特定人和新聞稿測試前者，以獲得較高的文本正確率和糾錯起點(diǎn)。 通用領(lǐng)域句式復(fù)雜多變，不深入語音識別系統(tǒng)內(nèi)部尋找規(guī)律的話很難有所作為。ViaVoice98單純使用3元詞法模型，忽略了詞性

4、和語義搭配信息。本文提出的后處理方法，通過大規(guī)模語料訓(xùn)練設(shè)計出增強(qiáng)的語言模型，利用ViaVoice系統(tǒng)語音識別時生成的中間結(jié)果WordLattice(詞網(wǎng)格)作為工作起點(diǎn)，用動態(tài)規(guī)劃法生成NBest候選句，并以該增強(qiáng)的語言模型評優(yōu)。利用WordLattice既能充分利用語音識別系統(tǒng)的中間信息，又避免了介入語音識別系統(tǒng)內(nèi)部形成干擾。提出的語言模型針對ViaVoice所用語言模型的不足而設(shè)計，保證了糾錯的效果。引入詞性類和語義類的概念，回避

5、了含錯文本的詞性和語義兼類排歧問題。 限定領(lǐng)域句式相對簡單，出錯也較有規(guī)律，但統(tǒng)計法所必需的大規(guī)模訓(xùn)練語料不易獲取。本文就上海市內(nèi)交通電話查詢特定領(lǐng)域用規(guī)則法處理糾錯。通過總結(jié)識別文本中的出錯規(guī)律，定義了相應(yīng)的用于查錯和糾錯的詞形、語義和語用規(guī)則。識別文本經(jīng)切分、語義標(biāo)注，逐次檢查詞形、語義標(biāo)記搭配和語用信息，一俟匹配查錯規(guī)則就激發(fā)糾錯。針對識別文本含錯嚴(yán)重的現(xiàn)狀，該法更多地依賴對出錯現(xiàn)象的分析和對領(lǐng)域信息的應(yīng)用。在本實驗室開發(fā)