基于半監(jiān)督結(jié)構(gòu)化學(xué)習(xí)的跨語言詞性標(biāo)注研究.pdf

1、自然語言處理技術(shù)在當(dāng)今信息時(shí)代取得了巨大的成功,人們的生活方方面面都離不開自然語言處理技術(shù)。隨著人們文化交流的需要,對一些小語種也有自然語言處理需求,往往這些語言的標(biāo)注資源稀缺,限制了自然語言技術(shù)在這些語言上的發(fā)展。人們嘗試使用將標(biāo)注資源豐富的語言信息映射到標(biāo)注資源稀缺的語言上的跨語言映射的方法。
　　本文使用多種半監(jiān)督結(jié)構(gòu)化學(xué)習(xí)的技術(shù),借助雙語平行語料的詞對齊關(guān)系,研究跨語言詞性標(biāo)注任務(wù)。本文首先把跨語言學(xué)習(xí)問題定為半監(jiān)督結(jié)構(gòu)化

2、問題,使得所有的跨語言學(xué)習(xí)問題都納入到這個(gè)框架下。然后,本文提出了跨語言直接詞性標(biāo)注的方法,根據(jù)詞對齊關(guān)系將源語言的詞性直接傳遞到目標(biāo)語言,考慮了在沒有目標(biāo)語言標(biāo)注數(shù)據(jù)和有少量目標(biāo)語言標(biāo)注數(shù)據(jù)情況下的算法。同時(shí),研究了詞對齊過濾方法,使用兩種詞對齊過濾融合的方法,使得跨語言映射準(zhǔn)確率得到提高。本文又提出了協(xié)同學(xué)習(xí)在跨語言詞性標(biāo)注的框架,將協(xié)同學(xué)習(xí)推廣到結(jié)構(gòu)化學(xué)習(xí)上,研究了序列標(biāo)注模型的置信度計(jì)算的問題以及詞對齊種類對跨語言詞性標(biāo)注的影響

3、。實(shí)驗(yàn)結(jié)果表明使用一對一對齊策略和基于片段的數(shù)據(jù)更新更新方法,可以得到較好的結(jié)果。最后,本文采用標(biāo)簽傳播算法,根據(jù)詞上下文信息構(gòu)建詞相似度圖,減少由跨語言直接映射引發(fā)的噪聲問題。在此過程中使用奇異值分解技術(shù)對詞特征進(jìn)行降維,以減少特征稀疏問題造成的影響。最后將標(biāo)簽傳播過程估計(jì)的詞性分布作為約束加入到馬爾科夫隨機(jī)場中。實(shí)驗(yàn)結(jié)果表明,我們提出的協(xié)同學(xué)習(xí)方法和標(biāo)簽傳播算法在跨語言詞性標(biāo)注任務(wù)上都取得了成功,比直接映射和用少量目標(biāo)語言標(biāo)注數(shù)據(jù)的