基于神經(jīng)網(wǎng)絡(luò)的中文詞表示方法研究.pdf

1、自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向，詞的語(yǔ)義表示是自然語(yǔ)言處理中的基礎(chǔ)工作，傳統(tǒng)的 one-hot表示方法，把每個(gè)詞表示為一個(gè)很長(zhǎng)的01向量，這種方法僅僅將詞符號(hào)化，不能捕捉任何語(yǔ)義信息。隨著深度學(xué)習(xí)和表示學(xué)習(xí)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的分布式詞表示技術(shù)得到了越來(lái)越多的關(guān)注。分布式詞表示，即詞嵌入，將詞表示為低維實(shí)值向量，這種方法不僅可以捕獲詞的語(yǔ)義信息，同時(shí)也能解決詞的歧義問(wèn)題。
　　現(xiàn)有的中文詞表示技術(shù)大多直

2、接沿用英文的解決思路，直接基于詞的層面建模。然而不同于英文，中文詞常常由多個(gè)字組成，中文詞的語(yǔ)義信息也通常由詞的內(nèi)部字及其上下文共同決定?？紤]到中文的特點(diǎn)，最近的一些研究也證明了詞的內(nèi)部字對(duì)中文詞表示有很好的提升作用。本文同時(shí)考慮詞的內(nèi)部字及其上下文字信息，提出了一個(gè)新的基于字詞聯(lián)合訓(xùn)練的中文詞表示模型ECWE。該模型通過(guò)對(duì)加強(qiáng)對(duì)漢字的有效建模，使得漢字之間以及漢字同詞之間的關(guān)系得到加強(qiáng)，同時(shí)豐富了詞的上下文信息，從而使得詞表示蘊(yùn)含更多