基于話(huà)題分布相似度的無(wú)監(jiān)督關(guān)鍵詞翻譯技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,逐漸成為人們發(fā)布和獲取信息的重要平臺(tái)。在購(gòu)買(mǎi)商品、選擇服務(wù)之前,網(wǎng)絡(luò)上的評(píng)論文章對(duì)決策者做出決策有重要的指導(dǎo)作用。然而,在獲取跨語(yǔ)言信息時(shí),非母語(yǔ)的語(yǔ)言障礙問(wèn)題長(zhǎng)期存在。在評(píng)論句子中,評(píng)論詞是句子的核心,正確理解評(píng)論詞的意思,才能夠準(zhǔn)確把握評(píng)論者對(duì)被評(píng)論話(huà)題的描述。但評(píng)論詞常常具有較多詞義,目前的機(jī)器翻譯軟件可以處理整句話(huà),甚至整個(gè)段落,但對(duì)多義詞的處理卻不夠準(zhǔn)確,影響了使用者對(duì)關(guān)鍵信息的獲取。在自然語(yǔ)言處理的許多

2、應(yīng)用領(lǐng)域中,多義詞的詞義選擇問(wèn)題都具有重要的研究意義,是進(jìn)一步完成領(lǐng)域內(nèi)其它工作的中間環(huán)節(jié),包括機(jī)器翻譯、信息檢索在內(nèi)的很多工作中扮演著重要的角色。
　　 在本文的研究中,嘗試著找到一種無(wú)監(jiān)督的方法,可以利用最少的資源,快速、準(zhǔn)確的獲取最關(guān)鍵的信息。這里主要做了如下方面的研究:
　　 一基于一個(gè)詞的詞義被其上下文中的詞所決定,并且不同的詞影響程度不同這樣的假設(shè),設(shè)計(jì)了無(wú)監(jiān)督的詞義選擇算法,僅僅利用在線(xiàn)詞典和網(wǎng)絡(luò)搜索引擎便

3、可以順利完成任務(wù)。
　　 二在計(jì)算兩個(gè)詞的相關(guān)性時(shí),針對(duì)本研究的特點(diǎn)改進(jìn)了互信息公式,將其映射到一個(gè)指數(shù)函數(shù)上,避免了由于數(shù)據(jù)稀疏帶來(lái)的計(jì)算困難,同時(shí)糾正了互信息為負(fù)值時(shí)的計(jì)算錯(cuò)誤。
　　 三在計(jì)算兩個(gè)詞的相似程度時(shí),不僅僅考慮位置、互信息等傳統(tǒng)因素,還利用LDA模型計(jì)算評(píng)論詞與周?chē)~的話(huà)題分布,利用KL散度得到兩者的差異度;在計(jì)算距離時(shí)添加句法信息,深層次的挖掘詞與詞之間的關(guān)系,以此衡量周?chē)~對(duì)評(píng)論詞的影響程度。