基于轉(zhuǎn)換表及上下文環(huán)境的漢語簡繁文本雙向翻譯.pdf

1、當前國際上使用的漢字包括簡體字和繁體字兩種形式，大陸和新加坡使用簡體字，臺灣、香港、澳門和部分海外華人使用繁體字。隨著華人圈的交流日漸頻繁，這種漢字的差異給交流帶來了不少障礙?，F(xiàn)有的簡繁轉(zhuǎn)換技術在處理簡繁一對多轉(zhuǎn)換方面效果不好，為了解決這一問題，作者提出了基于轉(zhuǎn)換表和上下文的漢語簡繁文本雙向翻譯方法。作者之前的研究工作在簡繁評測中取得了95.6％的轉(zhuǎn)換準確率，在此基礎上將更深入研究一對多簡體字轉(zhuǎn)繁體字的轉(zhuǎn)換消歧問題。
　　一對多問

2、題可以看成是一個分類問題，本文提出在簡繁轉(zhuǎn)換的一對多問題上使用規(guī)則加組合統(tǒng)計模型來解決，所組合的統(tǒng)計模型為SVM（支持向量機）、最大熵模型和貝葉斯模型。為了優(yōu)化分類效果，作者提出了一種新的文本特征選擇方法ADMMR，該方法的特征選擇效果和期望交叉熵，卡方檢驗這兩種特征選擇方法相當，且經(jīng)實驗表明能夠很好地表示文本，在使用同樣分類模型的前提下ADMMR比信息增益方法的分類性能要好4%以上；同時提出最大熵模型的特征值使用tf-idf，而不使用

3、0-1值，經(jīng)過實驗表明特征值使用tf-idf可以比使用0-1值的分類性能好2%；作者提出使用ADMMR、期望交叉熵和卡方檢驗作為文本的特征選擇方法，使用tf-idf來量化每一個特征，再用SVM和最大熵模型學習訓練數(shù)據(jù)，這樣將得到六個分類模型，再使用貝葉斯模型學習訓練數(shù)據(jù)得到第七個分類模型；前六個模型進行投票選擇，獲得票數(shù)最多的那個類別作為分類結(jié)果，如果得票最多的類有2個或2個以上則使用貝葉斯模型輔助判別。實驗結(jié)果表明組合模型比單獨使用S