基于統(tǒng)計(jì)的漢語(yǔ)縮略語(yǔ)還原方法研究與實(shí)現(xiàn).pdf

1、伴隨著生活步伐的加快，出于簡(jiǎn)潔方便的經(jīng)濟(jì)原則，人們?cè)诒磉_(dá)時(shí)越來越多地使用縮略語(yǔ)。然而，縮略語(yǔ)的使用在給人們帶來便利的同時(shí)也給許多領(lǐng)域帶來了不便。比如在進(jìn)行信息抽取時(shí)，縮略語(yǔ)作為噪聲會(huì)降低抽取結(jié)果;在進(jìn)行機(jī)器翻譯時(shí)，縮略語(yǔ)的存在會(huì)對(duì)翻譯結(jié)果的準(zhǔn)確性造成不良的影響，等等。因此，如何準(zhǔn)確地還原漢語(yǔ)縮略語(yǔ)已成為自然語(yǔ)言處理相關(guān)研究面臨的重要挑戰(zhàn)。
　　本文在以新聞?wù)Z料為基礎(chǔ)深入分析漢語(yǔ)縮略語(yǔ)特點(diǎn)基礎(chǔ)上，分別采用N元語(yǔ)法模型、統(tǒng)計(jì)機(jī)器翻譯模

2、型和語(yǔ)義相似度方法探索漢語(yǔ)縮略語(yǔ)的還原問題。具體地，本文從以下兩個(gè)方面展開研究:
　　(1)基于N-gram、基于機(jī)器翻譯模型的漢語(yǔ)縮略語(yǔ)還原。基于N-gram的縮略語(yǔ)還原通過構(gòu)建縮略語(yǔ)還原知識(shí)庫(kù)構(gòu)造縮略語(yǔ)還原候選集，在N元語(yǔ)法模型的框架下，對(duì)縮略語(yǔ)還原候選集進(jìn)行語(yǔ)言解碼，獲得還原結(jié)果;基于機(jī)器翻譯模型的漢語(yǔ)縮略語(yǔ)還原，通過構(gòu)建基于詞對(duì)齊、基于短語(yǔ)對(duì)齊的機(jī)器翻譯模型，利用Moses獲得含有縮略語(yǔ)完整形式的目標(biāo)語(yǔ)言。實(shí)驗(yàn)結(jié)果表明，基

3、于短語(yǔ)對(duì)齊的機(jī)器翻譯模型具有更好的還原性能。
　　(2)基于語(yǔ)義相似度的漢語(yǔ)縮略語(yǔ)還原:本文提出從語(yǔ)義角度出發(fā)，使用語(yǔ)義特征完成漢語(yǔ)縮略語(yǔ)的還原工作。首先，利用詞嵌入模型從大量未標(biāo)注的新聞文本中無(wú)監(jiān)督地學(xué)習(xí)出詞向量。然后，獲取還原候選及其上下文的詞向量。最后，通過計(jì)算語(yǔ)義相似度選取最佳還原候選，實(shí)現(xiàn)漢語(yǔ)縮略語(yǔ)的還原工作。同時(shí)，我們還利用語(yǔ)言模型和語(yǔ)義相似度結(jié)合的方法對(duì)縮略語(yǔ)進(jìn)行還原。實(shí)驗(yàn)結(jié)果表明，基于N-gram結(jié)合詞向量的語(yǔ)義相