基于話題分布相似度的無監(jiān)督關(guān)鍵詞翻譯技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,逐漸成為人們發(fā)布和獲取信息的重要平臺。在購買商品、選擇服務(wù)之前,網(wǎng)絡(luò)上的評論文章對決策者做出決策有重要的指導作用。然而,在獲取跨語言信息時,非母語的語言障礙問題長期存在。在評論句子中,評論詞是句子的核心,正確理解評論詞的意思,才能夠準確把握評論者對被評論話題的描述。但評論詞常常具有較多詞義,目前的機器翻譯軟件可以處理整句話,甚至整個段落,但對多義詞的處理卻不夠準確,影響了使用者對關(guān)鍵信息的獲取。在自然語言處理的許多

2、應(yīng)用領(lǐng)域中,多義詞的詞義選擇問題都具有重要的研究意義,是進一步完成領(lǐng)域內(nèi)其它工作的中間環(huán)節(jié),包括機器翻譯、信息檢索在內(nèi)的很多工作中扮演著重要的角色。
　　 在本文的研究中,嘗試著找到一種無監(jiān)督的方法,可以利用最少的資源,快速、準確的獲取最關(guān)鍵的信息。這里主要做了如下方面的研究:
　　 一基于一個詞的詞義被其上下文中的詞所決定,并且不同的詞影響程度不同這樣的假設(shè),設(shè)計了無監(jiān)督的詞義選擇算法,僅僅利用在線詞典和網(wǎng)絡(luò)搜索引擎便

3、可以順利完成任務(wù)。
　　 二在計算兩個詞的相關(guān)性時,針對本研究的特點改進了互信息公式,將其映射到一個指數(shù)函數(shù)上,避免了由于數(shù)據(jù)稀疏帶來的計算困難,同時糾正了互信息為負值時的計算錯誤。
　　 三在計算兩個詞的相似程度時,不僅僅考慮位置、互信息等傳統(tǒng)因素,還利用LDA模型計算評論詞與周圍詞的話題分布,利用KL散度得到兩者的差異度;在計算距離時添加句法信息,深層次的挖掘詞與詞之間的關(guān)系,以此衡量周圍詞對評論詞的影響程度。