支持向量機原理及應(yīng)用(doc)

1、支持向量機原理及應(yīng)用支持向量機原理及應(yīng)用(doc)支持向量機原理及應(yīng)用(doc)實用標(biāo)準(zhǔn)文案支持向量機簡介摘要：支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力。我們通常希望分類的過程是一個機器學(xué)習(xí)的過程。這些數(shù)據(jù)點是n維實空間中的點。我們希望能夠把這些點通過一個n1維

2、的超平面分開。通常這個被稱為線性分類器。有很多分類器都符合這個要求。但是我們還希望找到分類最佳的平面，即使得屬于兩個不同類的數(shù)據(jù)點間隔最大的那個面，該面亦稱為最大間隔超平面。如果我們能夠找到這個面，那么這個分類器就稱為最大間隔分類器。關(guān)鍵字：VC理論結(jié)構(gòu)風(fēng)險最小原則學(xué)習(xí)能力1、SVM的產(chǎn)生與發(fā)展自1995年Vapnik在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識別的新方法之后，SVM一直倍受關(guān)注。同年，Vapnik和Ctes提出軟間隔(s

3、oftmargin)SVM，通過引進(jìn)松弛變量度量數(shù)據(jù)的誤分類(分類出現(xiàn)錯誤時大于0)，同時在目標(biāo)參數(shù)來度量超平面偏差，代替通常依靠經(jīng)驗選取的軟間隔分類懲罰參數(shù)，改善分類效果；LSSVM則是用等式約束代替?zhèn)鹘y(tǒng)SVM中的不等式約束，將求解QP問題變成解一組等式方程來提高算法效率；LIBSVM是一個通用的SVM軟件包，可以解決分類、回歸以及分布估計等問題，它提供常用的幾種核函數(shù)可由用戶選擇，并且具有不平衡樣本加權(quán)和多類分類等功能，此外，交叉驗

4、證(crossvalidation)方法也是LIBSVM對核函數(shù)參數(shù)選取問題所做的一個突出貢獻(xiàn)；SVM1ight的特點則是通過引進(jìn)縮水(shrinking)逐步簡化QP問題，以及緩存(caching)技術(shù)降低迭代運算的計算代價來解決大規(guī)模樣本條件下SVM學(xué)習(xí)的復(fù)雜性問題。2、支持向量機基礎(chǔ)2.1統(tǒng)計學(xué)習(xí)理論基礎(chǔ)與傳統(tǒng)統(tǒng)計學(xué)理論相比，統(tǒng)計學(xué)習(xí)理論(Statisticallearningthey或SLT)是一種專門研究小樣本條件下機器學(xué)習(xí)規(guī)

5、律的理論。該理論是針對小樣本統(tǒng)計問題建立起的一套新型理論體系，在該體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在有限信息條件下得到最優(yōu)結(jié)果。Vapnik等人從上世紀(jì)六、七十年代開始致力于該領(lǐng)域研究，直到九十年代中期，有限樣本條件下的機器學(xué)習(xí)理論才逐漸成熟起來，形成了比較完善的理論體系——統(tǒng)計學(xué)習(xí)理論。統(tǒng)計學(xué)習(xí)理論的主要核心內(nèi)容包括：(1)經(jīng)驗風(fēng)險最小化準(zhǔn)則下統(tǒng)計學(xué)習(xí)一致性條件；(2)這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論