最小化樣本風險算法在語言建模中的應用.pdf

1、傳統(tǒng)的統(tǒng)計語言模型使用最大化似然度來估計模型的參數(shù)，但是它基于一種錯誤的假設，即訓練數(shù)據(jù)和測試數(shù)據(jù)的分布形式是已知的。而現(xiàn)有的一些判別訓練算法為了提高算法的效率，往往要求損失函數(shù)是可導的，因此無法體現(xiàn)許多實際應用中的損失函數(shù)（通常是不可導的階梯形函數(shù)）?；诖?，本文研究了一種新型的判別學習算法—最小化樣本風險算法（Minimum Sample Risk， MSR）。與現(xiàn)有的判別算法不同，MSR可以直接優(yōu)化不可導的階梯形函數(shù)。因為這類函數(shù)

2、無法用常規(guī)的數(shù)值方法來優(yōu)化，MSR使用了一種類似多維優(yōu)化的貪心算法：即使用子特征選擇的方式順序地從候選特征集合中選取出一個特征子集加入最終的模型；每選出一個特征，就用線性搜索優(yōu)化其參數(shù)，同時保持所有其他的特征的參數(shù)不變。為了證明MSR的有效性，本文將它應用到日文漢字輸入法的任務中去。實驗結(jié)果表明MSR使基礎模型的錯誤率（Character error rate，CER）下降了20.9％，同時也在0.001的顯著性水平上優(yōu)于其它主流判別學

3、習算法，如Boosting和Perceptron。 在此基礎上，本文還對幾種判別學習算法的性質(zhì)做了研究。一方面，本文在五種風格迥異的語料上研究了MSR和另三種語言模型（線性插值，Boosting和Perceptron）的適應性能力。特別的，本文從一個獨特的視角—即用交叉熵衡量的領域相似性—來分析比較各個適應性算法的性能和適用范圍。實驗結(jié)果表明，用交叉熵衡量的領域相似度與各個適應性算法的效果密切相關。而且，與線性插值算法相比，判

4、別學習算法不僅能夠取得更小的CER，而且對于領域相似度的魯棒性也更強。另一方面，現(xiàn)有的判別學習算法往往只使用了幾種最基本的特征，如一元組（Unigram）和二元組（Bigram）。所以本文還研究了以上三種判別學習算法的特征源選擇問題：即通過引入更多富含語言學知識的特征（如高階N元組和基于類的N元組等等）來提高這些算法的性能。實驗結(jié)果表明，對于MSR和Boosting而言，引入以上任何一種特征源都無法提高算法的性能，即它們的最好特征源仍為