基于隱馬爾科夫模型詞性標(biāo)注的研究.pdf

1、計算機(jī)技術(shù)發(fā)展給人們生活帶來了革命性的改變，人們希望能夠和計算機(jī)更加有效地溝通，因此，自然語言處理技術(shù)應(yīng)運(yùn)而生。詞性標(biāo)注作為自然語言處理中一個重要的基礎(chǔ)性研究課題，具有深刻的意義和廣泛的應(yīng)用。在自然語言處理系統(tǒng)中它通常是作為預(yù)處理程序，所以標(biāo)注的準(zhǔn)確性對于后續(xù)工作甚至是整個系統(tǒng)都至關(guān)重要。因此詞性標(biāo)注必須為后續(xù)自然語言處理過程提供高準(zhǔn)確率的中間結(jié)果。
　　 詞性作為詞匯最重要的屬性，是將詞匯連接到句法的主要紐帶，它能夠提供大量有

2、關(guān)詞匯及其上下文的重要信息。同時也能夠提供有關(guān)單詞發(fā)音的信息，這在語音識別的語言模型中是非常有用的。進(jìn)行過詞性標(biāo)注的文本是自然語言處理最基本的訓(xùn)練語料，如果沒有這樣語料庫的建立，自然語言處理也只能是空談。
　　 目前，詞性標(biāo)注的研究已經(jīng)基本趨于成熟，主要的標(biāo)注方法有:基于規(guī)則的詞性標(biāo)注方法、基于統(tǒng)計的詞性標(biāo)注方法、規(guī)則和統(tǒng)計相結(jié)合的方法以及基于轉(zhuǎn)換的錯誤驅(qū)動方法。詞性標(biāo)注的應(yīng)用也越來越廣泛，主要應(yīng)用于:機(jī)器翻譯、自動摘要、文本分

3、類、文本校對、語音識別、語音合成、語料庫加工、信息檢索等領(lǐng)域。
　　 本文主要從以下三個方面對詞性標(biāo)注的準(zhǔn)確率進(jìn)行了提高。首先，在傳統(tǒng)隱馬爾科夫模型的基礎(chǔ)上進(jìn)行了改進(jìn)，實現(xiàn)了二階隱馬爾科夫模型，使模型能夠更好地結(jié)合上下文信息，從而提高標(biāo)注的準(zhǔn)確率。其次，由于目前各類平滑算法還缺乏深入的研究及性能分析，因此最佳平滑算法的選取也是一個難題。這里對決定平滑算法效果的因素和它們在哪種情況下效果最好做了說明。并選擇最適用于現(xiàn)有模型和訓(xùn)練語

4、料庫規(guī)模的平滑算法來對數(shù)據(jù)進(jìn)行處理。最后，針對詞性標(biāo)注中生詞處理算法難以結(jié)合到統(tǒng)計模型中的問題，特采用通過求詞匯發(fā)射概率來對生詞問題進(jìn)行處理的方法，并提出一種針對專業(yè)領(lǐng)域文獻(xiàn)中高頻生詞處理的方法。本文使用JAVA在Eclipse開發(fā)平臺上實現(xiàn)了隱馬爾科夫模型模型和本文所提到的改進(jìn)方法，在英語和漢語兩種語料庫中進(jìn)行了測試。實驗表明，通過使用二階隱馬爾科夫模型，加入平滑算法以及生詞處理算法之后進(jìn)行詞性標(biāo)注，能夠獲得更加理想的詞性標(biāo)注效果。同