機(jī)器學(xué)習(xí)svm習(xí)題集

1、SVM1.判斷題(1)在SVM訓(xùn)練好后，我們可以拋棄非支持向量的樣本點(diǎn)，仍然可以對(duì)新樣本進(jìn)行分類。(T)(2)SVM對(duì)噪聲（如來(lái)自其他分布的噪聲樣本）魯棒。(F)2簡(jiǎn)答題現(xiàn)有一個(gè)點(diǎn)能被正確分類且遠(yuǎn)離決策邊界。如果將該點(diǎn)加入到訓(xùn)練集，為什么SVM的決策邊界不受其影響，而已經(jīng)學(xué)好的logistic回歸會(huì)受影響？答：因?yàn)镾VM采用的是hingeloss，當(dāng)樣本點(diǎn)被正確分類且遠(yuǎn)離決策邊界時(shí)，SVM給該樣本的權(quán)重為0，所以加入該樣本決策邊界不受影

2、響。而logistic回歸采用的是log損失，還是會(huì)給該樣本一個(gè)小小的權(quán)重。3產(chǎn)生式模型和判別式模型。（30分，每小題10分）圖2：訓(xùn)練集、最大間隔線性分類器和支持向量（粗體）（1）圖中采用留一交叉驗(yàn)證得到的最大間隔分類器的預(yù)測(cè)誤差的估計(jì)是多少（用樣本數(shù)表示即可）從圖中可以看出，去除任意點(diǎn)都不影響SVM的分界面。而保留所有樣本時(shí)，所有的樣本點(diǎn)都能被正確分類，因此LOOCV的誤差估計(jì)為0。（2）說(shuō)法“最小結(jié)構(gòu)風(fēng)險(xiǎn)保證會(huì)找到最低決策誤差的模

3、型”是否正確，并說(shuō)明理由。(F)最小結(jié)構(gòu)風(fēng)險(xiǎn)（SRM）只能保證在所有考慮的模型中找到期望風(fēng)險(xiǎn)上界最小的模型。（3）若采用等協(xié)方差的高斯模型分別表示上述兩個(gè)類別樣本的分布，則分類器的VC維是多少？為什么？等協(xié)方差的高斯模型的決策邊界為線性，因?yàn)槠銿C維維D1。題中D=2.(4)、??1111max2NNNiijijijiijyyk????????????????xx1s.t.01....0NiiiiCiNy????????其中。??21e

4、xp2k???????????xxxxRBF核函數(shù)，決策邊界為曲線σ=1較大，曲線更平滑(a)(5)、??1111max2NNNiijijijiijyyk????????????????xx1s.t.01....0NiiiiCiNy????????其中。????2expk?????xxxxRBF核函數(shù)，決策邊界為曲線σ=sqrt(12)較小，曲線更彎曲(e)(6)考慮帶松弛因子的線性SVM分類器：211mins.t.2NiiC?????