基于字詞對(duì)齊的中文字詞向量表示方法.pdf

1、詞語(yǔ)是構(gòu)成文本的最小語(yǔ)義單元，很多自然語(yǔ)言處理任務(wù)都會(huì)涉及詞語(yǔ)表示的問(wèn)題。詞語(yǔ)表示的方法最常見(jiàn)的是獨(dú)熱表示.然而此方法存在稀疏問(wèn)題，且不能捕捉詞語(yǔ)間的語(yǔ)義聯(lián)系。以表示學(xué)習(xí)為基礎(chǔ)的詞語(yǔ)表示旨在用稠密的低維向量來(lái)表示詞語(yǔ)的語(yǔ)義信息，其中分布式語(yǔ)義表示是表示學(xué)習(xí)中最常見(jiàn)的詞語(yǔ)表示方法。這種方法得到的詞向量在很多自然語(yǔ)言處理問(wèn)題上取得了成功。借鑒于英文的詞向量表示方法，一些學(xué)者對(duì)中文詞向量的表示進(jìn)行了研究。最近的一些研究表明，中文詞語(yǔ)內(nèi)部的漢字

2、也具有豐富的語(yǔ)義信息，基于字詞聯(lián)合學(xué)習(xí)的模型在一些中文自然語(yǔ)言處理任務(wù)上取得了一定的成功。然而現(xiàn)有的處理方法均沒(méi)有考慮詞語(yǔ)內(nèi)部漢字對(duì)詞語(yǔ)語(yǔ)義貢獻(xiàn)的差異性，使得學(xué)習(xí)的詞向量在一些任務(wù)上的表現(xiàn)不盡如人意。本文基于此問(wèn)題，提出了一種計(jì)算組成詞語(yǔ)的漢字對(duì)詞語(yǔ)的語(yǔ)義貢獻(xiàn)的方法，這種方法利用了其他語(yǔ)言的語(yǔ)義信息。我們使用了這種基于相似度的方法來(lái)聯(lián)合學(xué)習(xí)字詞向量。并且通過(guò)實(shí)驗(yàn)，這種方法對(duì)漢字消歧和識(shí)別非語(yǔ)義可組合詞也有很好的效果。
　　本文具體

3、工作如下:
　　(1)本文根據(jù)中文的特點(diǎn)，提出了一種基于字詞相似度的字詞向量學(xué)習(xí)模型。該方法在詞語(yǔ)訓(xùn)練過(guò)程中，計(jì)算了不同內(nèi)部漢字對(duì)詞語(yǔ)的語(yǔ)義貢獻(xiàn)，更好地對(duì)中文的詞語(yǔ)進(jìn)行建模，使?jié)h字對(duì)學(xué)習(xí)到的詞向量起到很好的平滑效果，并且通過(guò)字的關(guān)聯(lián)使詞的上下文信息更加豐富。
　　(2)與傳統(tǒng)的基于上下文聚類(lèi)的漢字消歧方法不同，本文創(chuàng)新地融入了英文這種富信息語(yǔ)言的優(yōu)勢(shì)，提出了一種新的方法來(lái)對(duì)漢字進(jìn)行消歧。這種方法利用了外部資源，使用了類(lèi)似K-