一種新的風險等級預測的模型改善評價方法.pdf

1、目的:
　　本研究旨在構(gòu)建一種新的統(tǒng)計方法，用以評價和度量等級風險預測模型的改善效果，以期為統(tǒng)計模型的評價及比較提供新的手段。
　　方法:
　　本研究基于風險分級，同時考慮新模型和原模型風險等級的變動方向和級數(shù)，提出評價不同模型預測效果的新方法，應(yīng)用統(tǒng)計模擬比較新方法與現(xiàn)有方法的統(tǒng)計性能，最后經(jīng)實例驗證。
　　(1)新指標的構(gòu)造
　　本研究定義新指標—平均重分類改善(average reclassifica

2、tion improvement,ARI)，即個體在新模型下相對于原模型，其風險等級的平均改善，用統(tǒng)計學語言可表示為:ARI=K∑i=1 Pi·vi其中，K為所有風險等級可能變動的組合數(shù)，K=2H-1，H為風險等級數(shù)，如當有3個風險等級時，K為5，即有5種可能的風險等級變動組合。
　　記vi（i=1，2，…，K)為風險等級變動組合，最大變動范圍為-(H-1)～+(H-1)，其相應(yīng)的概率向量P=(P1，P2，…，PK)。假定陽性及陰

3、性結(jié)局相互獨立，定義新模型相對原模型的ARI為ARI=ARIevents-ARInonevents=K∑i=1 Pi，events·vi-K∑i=1Pi，nonevents·vi其期望估計為ARI=ARIevents-ARInonevents=K∑i=1(P)i,events·vi-∑i=1(P)i，nonevents·vi。其方差估計var ARI由var ARIevent和var ARI nonevent分別估計，基于多項分布var

4、 ARIevents=K∑i=1v2i·var(P)i，events+2∑i≠j vi·vi cov(P)i,events，(P)j,events=K∑i=1 v2i(P)i,events/nevents-（K∑i=1 vi(P)i，evets)2/neventsvar ARInonevents=K∑i=1v2i·var(P)i,nonevents+2∑i≠jvi·vj cov(P)i,nonevents，(P)j,nonevents=

5、K∑i=1v2i(P)i,nonevents/nnonevents-(K∑i=1 vi(P)i,nonevents)2/nnonevents。假定陽性及陰性結(jié)局相互獨立，在原假設(shè)H0∶ARI=0成立的條件下，可構(gòu)造如下檢驗統(tǒng)計量:z=K∑i=1(P)i，events·vi-K∑i=1(P)i，nonevets·vi/√K∑i=1v2i(P)i，events/nevents+K∑i=1v2i(P)i,nonevents/nnonevent

6、s在大樣本情形下，檢驗統(tǒng)計量近似服從正態(tài)分布。
　　(2)模擬研究
　　具體參數(shù)設(shè)置為:
　　樣本量(n):500，1000，3000;
　　陽性事件率(PD):0.05，0.10，0.30;
　　X的效應(yīng)(ORX): ORx=1.5，2，3，4，5，6，7，8，9;
　　M的效應(yīng)(ORM): ORM=1,1.25,1.5,1.75,2,2.5,3,4,6,8;
　　其中，X為現(xiàn)有強預測因子或常

7、用預測因子的線性組合(linear combinationof predictors)，M是具有潛在預測價值的新協(xié)變量。X及M分別從標準正態(tài)分布N(0，1)中隨機產(chǎn)生?；趌ogistic回歸模型進行模擬研究。各參數(shù)情形下均模擬5000次。
　　風險分級:本研究考慮兩種情形，四分類情形下風險等級設(shè)置為＜5％、5％到＜10％、10％到＜20％以及≥20％;在三分類情形下風險等級設(shè)置為＜5％、5％到＜20％以及≥20％。
　　結(jié)

8、果:
　　ARI的統(tǒng)計性質(zhì):從標準差估計及Ⅰ類錯誤評價。
　　1)標準差估計:當陽性事件率PD=0.05及PD=0.1時，ARI標準差的估計比較準確;當PD=0.3時，ARI標準差的估計略微偏小。
　　2)Ⅰ類錯誤:風險等級為四級時，當PD=0.05時，ARI檢驗統(tǒng)計量的正態(tài)分布性質(zhì)不夠理想;當PD=0.1及PD=0.3時，其正態(tài)近似都較好。在相對極端的參數(shù)情形下（如PD=0.05，n=500），ARI的Ⅰ類錯誤在0.

9、0171～0.0380范圍內(nèi)，小于設(shè)定的檢驗水準0.05;在其它情形下，ARI的Ⅰ類錯誤在0.0329～0.0621范圍內(nèi)，除少數(shù)情形控制不佳外，其余基本在模擬允許的誤差范圍內(nèi)，說明Ⅰ類錯誤控制較好。風險等級為三級時與四分類的結(jié)果相似。
　　ARI與其它方法的比較:主要與常用評價方法NRI和AUC進行比較。
　　1)與NRI的比較:
　　Ⅰ類錯誤:多數(shù)情形下，兩種方法的Ⅰ類錯誤均控制較好，基本在模擬允許的誤差范圍內(nèi)。在

10、相對極端的參數(shù)情形下（如PD=0.05，n=500），NRI的Ⅰ類錯誤率在0.0269～0.0558范圍，ARI的Ⅰ類錯誤率在0.0259～0.0558范圍，兩種方法均偏保守。
　　檢驗效能:當PD=0.05及PD=0.1時，NRI及ARI的檢驗效能基本一致;當PD=0.3時，ARI的檢驗效能較NRI提高0.2％～1.6％，平均提高0.5％。
　　2)與AUC的比較:
　?、耦愬e誤:配對樣本AUC檢驗的DeLong法偏

11、保守。
　　檢驗效能:當PD=0.05及PD=0.1時，ARI與DeLong法的檢驗效能基本一致，有些參數(shù)情形下后者更高些（如n=1000，PD=0.1）;PD=0.3時，ARI的檢驗效能比DeLong法平均提高為5.7％。
　　實例分析:實例為探究尿血管緊張素原(uAGT)、尿白蛋白肌酐比(UACR)能否提高對急性復合性心臟衰竭病人發(fā)生AKI的預測效果。
　　AUC的比較:不含uAGT的原模型M0（含年齡、性別、慢性

12、病腎臟病、血清白蛋白、N端前腦鈉肽和中性粒細胞明膠酶相關(guān)脂質(zhì)運載蛋白），其AUC為0.814;含有uAGT的新模型M1(M0+uAGT)，其AUC為0.874，兩者之差為0.06，差異有統(tǒng)計學意義（DeLong檢驗，P＜0.001）;含有UACR的新模型M2(M1+UACR)，其AUC為0.874，與M1相比，無統(tǒng)計學差異(DeLong檢驗，P=1.000)。
　　風險等級改善:考慮分四個風險等級的情形，M1 V.S.M0:有NR

13、I=0.302(P＜0.001)，ARI=0.423(P＜0.001)，對ARI的解釋為將uAGT加入原有模型后，所有病例的平均風險改善等級為0.423，而NRI無直觀解釋;M2 V.S.M1:其ARI=0.0(P=0.997)，NRI=0.0(P=0.997)。UACR不能提高模型的預測效果。
　　從實例中可以看出，uAGT能改善風險分級，而UACR不能，故M1為相對最優(yōu)模型。
　　結(jié)論:
　　本研究針對風險等級預測