面向全文標(biāo)注的未登錄詞語(yǔ)義預(yù)測(cè)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和時(shí)代的發(fā)展，大量新生詞匯和網(wǎng)絡(luò)用語(yǔ)不斷涌現(xiàn)，隨之而來(lái)，未登錄詞的規(guī)模也呈現(xiàn)逐年上升的趨勢(shì)。未登錄詞是在語(yǔ)料中出現(xiàn)而未收錄在詞典中的詞語(yǔ)，大量涌現(xiàn)的未登錄詞給自然語(yǔ)言處理領(lǐng)域眾多任務(wù)帶來(lái)極大挑戰(zhàn)。因此，針對(duì)未登錄詞的處理應(yīng)該引起自然語(yǔ)言處理領(lǐng)域研究人員足夠的重視。
　　目前，關(guān)于未登錄詞處理的任務(wù)主要包括未登錄詞識(shí)別、未登錄詞詞性預(yù)測(cè)和未登錄詞語(yǔ)義預(yù)測(cè)這三部分。對(duì)未登錄詞識(shí)別和詞性預(yù)測(cè)的相關(guān)研究相對(duì)較多，而專(zhuān)門(mén)針對(duì)

2、未登錄詞語(yǔ)義預(yù)測(cè)處理任務(wù)的研究則較少。本文主要專(zhuān)注于漢語(yǔ)未登錄詞的語(yǔ)義預(yù)測(cè)研究?？偨Y(jié)前人關(guān)于漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)相關(guān)研究，發(fā)現(xiàn)在對(duì)漢語(yǔ)未登錄詞進(jìn)行語(yǔ)義預(yù)測(cè)過(guò)程中主要基于兩類(lèi)特征，分別是未登錄詞內(nèi)部特征和外部特征。其中未登錄詞的內(nèi)部特征主要是指未登錄詞的組成成分和詞性，外部特征主要是指未登錄詞在語(yǔ)料中的上下文。
　　本文的研究是基于已有研究基礎(chǔ)之上的。前人的漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)模型主要基于未登錄詞的內(nèi)部特征，然而相關(guān)研究表明未登錄詞

3、的外部特征對(duì)于漢語(yǔ)未登錄詞的語(yǔ)義預(yù)測(cè)也是有價(jià)值的。本文將未登錄詞的內(nèi)部特征和外部特征進(jìn)行結(jié)合，分別設(shè)計(jì)了兩種語(yǔ)義預(yù)測(cè)模型，即基于詞向量的漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)模型和基于百度百科的漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)模型，用于漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)研究。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)，分析了前人模型和上述兩種模型在漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)方面的優(yōu)缺點(diǎn)，結(jié)合各模型的預(yù)測(cè)優(yōu)勢(shì)，設(shè)計(jì)了一種級(jí)聯(lián)模型，用于漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)工作，實(shí)驗(yàn)結(jié)果驗(yàn)證了方法的有效性。
　　本文在此基礎(chǔ)上，實(shí)