Firth懲罰最大似然估計在Logistic回歸中解決分離問題時的應(yīng)用.pdf

1、目的: 在擬合logistic回歸模型過程中，當(dāng)樣本量較小，尤其是解釋變量較多，數(shù)據(jù)分布不均衡，不滿足漸近統(tǒng)計推斷前提時，會出現(xiàn)分離問題，此時模型的最大似然估計不存在或者不可靠。本文旨在介紹解決分離問題的Firth懲罰最大似然估計法，將其應(yīng)用到多分類logistic回歸分析中。
　　 方法: Firth懲罰最大似然估計方法的基本思想是在得分函數(shù)中加入懲罰項，從而將參數(shù)最大似然估計值的偏差減少。本文介紹了其方法及原理，結(jié)合實際問題

2、介紹其在logistic回歸中解決分離問題時的應(yīng)用。用SAS及R軟件對3個實際數(shù)據(jù)分別進行二分類logistic及多分類logistic回歸分析，將該方法與最大似然估計及確切l(wèi)ogistic回歸結(jié)果進行比較。
　　 結(jié)果: 通過對一般logistic小樣本數(shù)據(jù)、二分類logistic分離數(shù)據(jù)及多分類logistic分離數(shù)據(jù)的分析，結(jié)果顯示在最大似然可以得出參數(shù)估計值的情況下，參數(shù)估計值標(biāo)準(zhǔn)誤的大小順序均為懲罰最大似然估計最小，確

3、切l(wèi)ogistic其次，最大似然估計最大。分離數(shù)據(jù)的分析顯示，在最大似然估計不能得出參數(shù)有效估計值的情況下，確切l(wèi)ogistic回歸及懲罰最大似然估計均能得出有效參數(shù)估計值。懲罰最大似然估計的參數(shù)估計值、標(biāo)準(zhǔn)誤及P值均比最大似然估計的值小，確切l(wèi)ogistic回歸的參數(shù)估計值比懲罰最大似然估計值略小，其可信區(qū)間比懲罰最大似然估計結(jié)果寬。
　　 結(jié)論: 在分離數(shù)據(jù)中，確切l(wèi)ogistic及懲罰最大似然估計均能得出有效值，但由于確切