基于組塊3X2交叉驗(yàn)證分類學(xué)習(xí)算法的統(tǒng)計(jì)推斷.pdf

1、模型性能的評(píng)價(jià)是統(tǒng)計(jì)機(jī)器學(xué)習(xí)中的關(guān)鍵一步，它的好壞直接影響到機(jī)器學(xué)習(xí)的許多其它環(huán)節(jié)，泛化誤差是最常用且最重要的模型性能評(píng)價(jià)標(biāo)準(zhǔn)，目前，泛化誤差常用各種形式的交叉驗(yàn)證方法來估計(jì)。本文主要針對(duì)分類學(xué)習(xí)算法，從模型選擇、方差分析、方差估計(jì)、假設(shè)檢驗(yàn)等幾個(gè)角度對(duì)新提出的組塊3×2交叉驗(yàn)證方法進(jìn)行了初步的研究，并取得了較好的結(jié)論。
　　組塊3×2交叉驗(yàn)證的兩大特點(diǎn)是折數(shù)低、對(duì)數(shù)據(jù)集進(jìn)行均勻切分，因此，我們首先從折數(shù)的選擇和數(shù)據(jù)集的切分方式對(duì)

2、交叉驗(yàn)證方法進(jìn)行了綜合分析，結(jié)合已有的研究成果，我們判斷組塊3×2交叉驗(yàn)證在這兩個(gè)方面很有優(yōu)勢(shì)。
　　我們將組塊3×2交叉驗(yàn)證應(yīng)用于分類學(xué)習(xí)算法的模型選擇任務(wù)中，考慮到組塊3×2交叉驗(yàn)證的特點(diǎn)，以及影響交叉驗(yàn)證模型選擇方法性能的各種因素，我們斷定組塊3×2交叉驗(yàn)證要優(yōu)于常用的5折、10折交叉驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，特征取值連續(xù)時(shí)組塊3×2交叉驗(yàn)證選到真模型的概率要一致的大于5折、10折交叉驗(yàn)證，且最多能大出近25個(gè)百分點(diǎn)。特征取值離散

3、時(shí)雖有個(gè)別例外情況，但10折交叉驗(yàn)證比組塊3×2交叉驗(yàn)證的優(yōu)勢(shì)并不明顯，且后者與前者相比在計(jì)算復(fù)雜度方面有很大的優(yōu)勢(shì)，因此判斷組塊3×2交叉驗(yàn)證更適用于分類學(xué)習(xí)算法的模型選擇任務(wù)。
　　當(dāng)對(duì)比分類學(xué)習(xí)算法的性能時(shí)，需要從統(tǒng)計(jì)上對(duì)算法的泛化誤差做顯著性檢驗(yàn)，而這需要有效的方差估計(jì)，因此，我們首先從理論上對(duì)組塊3×2交叉驗(yàn)證的方差進(jìn)行了分析，得到了其結(jié)構(gòu)圖，在此基礎(chǔ)上給出了一個(gè)保守估計(jì)方法，并將其應(yīng)用于泛化誤差的假設(shè)檢驗(yàn)實(shí)驗(yàn)中。實(shí)驗(yàn)結(jié)

4、果表明，基于組塊3×2交叉驗(yàn)證的t檢驗(yàn)比其它常用的檢驗(yàn)有更大的功效，即擁有更小的犯第一類錯(cuò)誤的概率和更大的勢(shì)。
　　自然語言處理中的許多任務(wù)都可看作是分類問題，其分類算法性能最常用的評(píng)價(jià)指標(biāo)是準(zhǔn)確率、召回率、F-測(cè)度值，只要這三個(gè)指標(biāo)服從或近似服從正態(tài)分布，則上述關(guān)于泛化誤差的研究結(jié)論都可應(yīng)用于基于這三個(gè)指標(biāo)的統(tǒng)計(jì)推斷。已有研究結(jié)果表明，準(zhǔn)確率和召回率服從貝塔分布，而貝塔分布參數(shù)值較大時(shí)近似服從正態(tài)分布。根據(jù)此結(jié)論及F-測(cè)度值與準(zhǔn)