基于組塊3X2交叉驗證分類學(xué)習(xí)算法的統(tǒng)計推斷.pdf

1、模型性能的評價是統(tǒng)計機(jī)器學(xué)習(xí)中的關(guān)鍵一步，它的好壞直接影響到機(jī)器學(xué)習(xí)的許多其它環(huán)節(jié)，泛化誤差是最常用且最重要的模型性能評價標(biāo)準(zhǔn)，目前，泛化誤差常用各種形式的交叉驗證方法來估計。本文主要針對分類學(xué)習(xí)算法，從模型選擇、方差分析、方差估計、假設(shè)檢驗等幾個角度對新提出的組塊3×2交叉驗證方法進(jìn)行了初步的研究，并取得了較好的結(jié)論。
　　組塊3×2交叉驗證的兩大特點(diǎn)是折數(shù)低、對數(shù)據(jù)集進(jìn)行均勻切分，因此，我們首先從折數(shù)的選擇和數(shù)據(jù)集的切分方式對

2、交叉驗證方法進(jìn)行了綜合分析，結(jié)合已有的研究成果，我們判斷組塊3×2交叉驗證在這兩個方面很有優(yōu)勢。
　　我們將組塊3×2交叉驗證應(yīng)用于分類學(xué)習(xí)算法的模型選擇任務(wù)中，考慮到組塊3×2交叉驗證的特點(diǎn)，以及影響交叉驗證模型選擇方法性能的各種因素，我們斷定組塊3×2交叉驗證要優(yōu)于常用的5折、10折交叉驗證。實驗結(jié)果表明，特征取值連續(xù)時組塊3×2交叉驗證選到真模型的概率要一致的大于5折、10折交叉驗證，且最多能大出近25個百分點(diǎn)。特征取值離散

3、時雖有個別例外情況，但10折交叉驗證比組塊3×2交叉驗證的優(yōu)勢并不明顯，且后者與前者相比在計算復(fù)雜度方面有很大的優(yōu)勢，因此判斷組塊3×2交叉驗證更適用于分類學(xué)習(xí)算法的模型選擇任務(wù)。
　　當(dāng)對比分類學(xué)習(xí)算法的性能時，需要從統(tǒng)計上對算法的泛化誤差做顯著性檢驗，而這需要有效的方差估計，因此，我們首先從理論上對組塊3×2交叉驗證的方差進(jìn)行了分析，得到了其結(jié)構(gòu)圖，在此基礎(chǔ)上給出了一個保守估計方法，并將其應(yīng)用于泛化誤差的假設(shè)檢驗實驗中。實驗結(jié)

4、果表明，基于組塊3×2交叉驗證的t檢驗比其它常用的檢驗有更大的功效，即擁有更小的犯第一類錯誤的概率和更大的勢。
　　自然語言處理中的許多任務(wù)都可看作是分類問題，其分類算法性能最常用的評價指標(biāo)是準(zhǔn)確率、召回率、F-測度值，只要這三個指標(biāo)服從或近似服從正態(tài)分布，則上述關(guān)于泛化誤差的研究結(jié)論都可應(yīng)用于基于這三個指標(biāo)的統(tǒng)計推斷。已有研究結(jié)果表明，準(zhǔn)確率和召回率服從貝塔分布，而貝塔分布參數(shù)值較大時近似服從正態(tài)分布。根據(jù)此結(jié)論及F-測度值與準(zhǔn)