多策略英漢詞對齊技術的研究.pdf

1、詞語對齊的目標在于指明平行文本片段之間的對應關系，最早是作為統(tǒng)計翻譯模型的中間產物而被提出。在英漢詞對齊技術研究中，詞形、語義、句法的多樣性和靈活性，未登錄詞及分詞錯誤等不利因素，一定程度上直接或間接影響了詞對齊的質量。人們嘗試結合不同的信息來提高詞對齊的質量并獲得了很好的成績。
　　迄今為止，出現了很多高準確率的詞對齊算法，每種典型的算法自身都有其特有的優(yōu)勢。如基于統(tǒng)計的方法，可以識別一定數量的未登錄詞，不足之處是需要大規(guī)模的雙

2、語句對作為支撐；基于詞典的方法可靠性較高，但不能識別未登錄詞；基于知網的方法一定程度上可以處理語義信息，但詞匯量十分有限，義原的定義還有待進一步細化。本文介紹了目前國內外關于詞語對齊技術的研究現狀，闡述了幾種具有代表性的詞語對齊方法，分析了它們的理論基礎，算法實現和各自的特點。
　　雙語語料的詞語對齊在很多自然語言處理領域具有十分重要的作用。本文通過對雙語語料和各種不同類型算法對齊結果的分析，利用一個語法上潛在的規(guī)律指導詞對齊的消

3、歧過程。在這種觀點的指導下，吸取了目前主流方法各自潛在的優(yōu)勢，提出一個多策略詞對齊算法，它融入了基于詞典的方法，基于知網的方法和基于統(tǒng)計的Giza++方法。
　　實驗表明，該多策略方法取得了很好的測試結果，在對齊結果上F值達到85.15％，較優(yōu)化后的IBM模型提高近10％。同時，對齊錯誤率降低10％，在統(tǒng)計機器翻譯的實例測試中也取得良好的效果。該方法根據不同算法對齊結果的可靠性和相容性，實現了各種算法的優(yōu)勢互補，實現過程簡單有效，