EM算法及其加速.pdf

1、在人工智能,數(shù)理統(tǒng)計,機器學習,模式識別中有許多的應用都要進行模型的參數(shù)估計,也就是要進行極大似然估計(Maximum 1ikelihood estimation)或極大后驗似然估計(Maximum-posterior-likelihood estimation).當模型中的變量均可以直接觀察時,極大似然估計或極大后驗似然估計是顯然的.但是當某些變量是隱藏的,這時進行極大似然估計就比較復雜.存在潛在變量的情況下,對模型參數(shù)進行估計的方法

2、有很多種,一種非常流行的極大似然估計方法是Expectation-Maximization算法,通常稱為EM算法.Dempster,Laird和Rubin(以下簡稱DLR)(1977)定義了EM算法.EM算法的最大優(yōu)點是簡單和穩(wěn)定.特別是,每一次迭代能保證觀察數(shù)據(jù)對數(shù)似然是單調不減的.另外,他們還定義了GEM算法,把EM算法視為GEM算法的特例.GEM算法在計算上更有效,且保持了對數(shù)似然單調不減的特性.EM算法作為一種參數(shù)估計方法通常用

3、于存在缺失數(shù)據(jù)的情況下,所謂的缺失數(shù)據(jù),可以有兩種解釋,一種情況是問題本身的確存在缺失變量,另一種情況是缺失變量并非真的存在,由于觀察數(shù)據(jù)對數(shù)似然的優(yōu)化比較復雜,而添加額外的變量(或稱為缺失變量)后的完全數(shù)據(jù)對數(shù)似然估計則比較簡單.根據(jù)這種思想許多統(tǒng)計模型可以納入到EM算法的框架中來.在大多數(shù)的情況下,EM算法實質上是一個優(yōu)化算法(optimization algorithm),并且能夠收斂到局部極值.但EM算法并非萬能的,其最大的缺點