基于分布式語(yǔ)義表示的兩岸詞匯差異研究和古籍文本處理.pdf

1、語(yǔ)義問(wèn)題一直是自然語(yǔ)言處理領(lǐng)域的一個(gè)難點(diǎn)。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的逐漸興起，越來(lái)越多的研究采用深度神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)義相關(guān)的問(wèn)題進(jìn)行建模。在語(yǔ)義層面上開(kāi)展研究，能更為有效地解決一些傳統(tǒng)統(tǒng)計(jì)方法所難以解決的問(wèn)題，也更為接近人類的語(yǔ)言認(rèn)知習(xí)慣。本文正是在這樣的背景下，采用分布式語(yǔ)義表示方法，重點(diǎn)研究中文信息處理中三個(gè)與語(yǔ)義相關(guān)的具體問(wèn)題:兩岸詞匯差異對(duì)比、古籍異體字規(guī)范化和古籍自動(dòng)斷句。
　　(1)兩岸間存在大量的差異詞匯，傳統(tǒng)研究多采用

2、手工方法進(jìn)行整理，本文采用詞向量方法在兩岸可比語(yǔ)料上自動(dòng)發(fā)現(xiàn)差異詞匯。本文首先對(duì)語(yǔ)料進(jìn)行了預(yù)處理并抽取多詞表示，通過(guò)詞頻分析找出大陸特有詞匯和臺(tái)灣特有詞匯，然后采用詞向量方法自動(dòng)抽取兩岸同形異義詞匯，最后采用詞向量方法為兩岸特有詞匯和同形異義詞匯自動(dòng)發(fā)現(xiàn)適當(dāng)?shù)膶?duì)應(yīng)詞匯。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能有效發(fā)現(xiàn)傳統(tǒng)手工編纂難以發(fā)現(xiàn)的兩岸差異詞匯。
　　(2)古籍中大量存在的異體字不利于現(xiàn)代人閱讀，也不利于古籍信息處理。本文提出了一種基

3、于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的古籍異體字規(guī)范化方法。本文首先進(jìn)行了古籍語(yǔ)料的預(yù)處理，為語(yǔ)料中的PUA編碼漢字找到對(duì)應(yīng)的Unicode編碼并進(jìn)行替換，然后實(shí)現(xiàn)了一個(gè)基于雙層GRU的漢字級(jí)別的循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，最后采用對(duì)數(shù)線性框架將語(yǔ)言模型和其它統(tǒng)計(jì)特征集成到異體字規(guī)范化模型中。實(shí)驗(yàn)結(jié)果表明，該方法能有效利用上下文的語(yǔ)義信息更準(zhǔn)確地進(jìn)行異體字規(guī)范化。
　　(3)古籍大多未進(jìn)行斷句，利用自然語(yǔ)言處理技術(shù)進(jìn)行自動(dòng)斷句，不僅能降低現(xiàn)代人閱讀古文的