基于詞向量與可比語(yǔ)料庫(kù)的雙語(yǔ)詞典抽取算法研究.pdf

1、雙語(yǔ)詞典是跨語(yǔ)言信息檢索和機(jī)器翻譯等自然語(yǔ)言處理任務(wù)中的一種基礎(chǔ)性資源，所以雙語(yǔ)詞典的抽取一直是研究者們研究的重點(diǎn)。目前，基于可比語(yǔ)料庫(kù)的雙語(yǔ)詞典抽取算法性能還不夠理想，而且大部分研究集中在特定領(lǐng)域的術(shù)語(yǔ)抽取。近來(lái)神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域取得很好效果，詞向量就是神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理領(lǐng)域應(yīng)用的代表性的成果之一，并且已經(jīng)廣泛的應(yīng)用于語(yǔ)義擴(kuò)展和情感分析等自然語(yǔ)言處理的子領(lǐng)域中。
　　詞向量不僅能以向量的形式將詞語(yǔ)數(shù)值化，而且在單語(yǔ)

2、種環(huán)境中可以直接用于兩個(gè)詞語(yǔ)之間的相似度計(jì)算并自帶平滑功能，這一特點(diǎn)適合基于可比語(yǔ)料庫(kù)的雙語(yǔ)詞典抽取場(chǎng)景。本文將詞向量的這一優(yōu)點(diǎn)應(yīng)用到可比語(yǔ)料庫(kù)的雙語(yǔ)詞典抽取的工作中，其中主要的工作包括兩部分內(nèi)容:
　　第一，通過(guò)詞向量量化詞間關(guān)系，設(shè)計(jì)并實(shí)現(xiàn)了雙語(yǔ)詞典抽取算法。在單語(yǔ)種條件下詞向量可以很好的量化詞語(yǔ)之間的相關(guān)性，而一個(gè)詞語(yǔ)與其他詞語(yǔ)之間的相關(guān)性反映了詞語(yǔ)的部分語(yǔ)義信息。有學(xué)者研究表明這種詞語(yǔ)之間的相關(guān)性是穩(wěn)定的，因此本文將詞語(yǔ)相

3、關(guān)性作為詞語(yǔ)的重要區(qū)分特征分別構(gòu)建了源語(yǔ)言和目標(biāo)語(yǔ)言的詞間關(guān)系矩陣，然后通過(guò)種子詞典將源語(yǔ)言的詞間關(guān)系向量和目標(biāo)語(yǔ)言的詞間關(guān)系向量映射到相同的向量空間中，最后通過(guò)詞間關(guān)系向量的相似度計(jì)算完成雙語(yǔ)詞典抽取的工作。實(shí)驗(yàn)表明，與基于向量空間模型的經(jīng)典方法相比基于詞向量和詞間關(guān)系的詞典抽取方法在準(zhǔn)確率方面有顯著的提升，特別是對(duì)于高頻詞語(yǔ)其準(zhǔn)確率提升最為顯著。
　　第二，在詞向量詞間關(guān)系模型的基礎(chǔ)上，提出融合詞語(yǔ)共現(xiàn)度的雙語(yǔ)詞典抽取方法，以