基于統(tǒng)計的漢語縮略語還原方法研究與實現(xiàn).pdf

1、伴隨著生活步伐的加快，出于簡潔方便的經(jīng)濟原則，人們在表達(dá)時越來越多地使用縮略語。然而，縮略語的使用在給人們帶來便利的同時也給許多領(lǐng)域帶來了不便。比如在進行信息抽取時，縮略語作為噪聲會降低抽取結(jié)果;在進行機器翻譯時，縮略語的存在會對翻譯結(jié)果的準(zhǔn)確性造成不良的影響，等等。因此，如何準(zhǔn)確地還原漢語縮略語已成為自然語言處理相關(guān)研究面臨的重要挑戰(zhàn)。
　　本文在以新聞?wù)Z料為基礎(chǔ)深入分析漢語縮略語特點基礎(chǔ)上，分別采用N元語法模型、統(tǒng)計機器翻譯模

2、型和語義相似度方法探索漢語縮略語的還原問題。具體地，本文從以下兩個方面展開研究:
　　(1)基于N-gram、基于機器翻譯模型的漢語縮略語還原?；贜-gram的縮略語還原通過構(gòu)建縮略語還原知識庫構(gòu)造縮略語還原候選集，在N元語法模型的框架下，對縮略語還原候選集進行語言解碼，獲得還原結(jié)果;基于機器翻譯模型的漢語縮略語還原，通過構(gòu)建基于詞對齊、基于短語對齊的機器翻譯模型，利用Moses獲得含有縮略語完整形式的目標(biāo)語言。實驗結(jié)果表明，基

3、于短語對齊的機器翻譯模型具有更好的還原性能。
　　(2)基于語義相似度的漢語縮略語還原:本文提出從語義角度出發(fā)，使用語義特征完成漢語縮略語的還原工作。首先，利用詞嵌入模型從大量未標(biāo)注的新聞文本中無監(jiān)督地學(xué)習(xí)出詞向量。然后，獲取還原候選及其上下文的詞向量。最后，通過計算語義相似度選取最佳還原候選，實現(xiàn)漢語縮略語的還原工作。同時，我們還利用語言模型和語義相似度結(jié)合的方法對縮略語進行還原。實驗結(jié)果表明，基于N-gram結(jié)合詞向量的語義相