支持向量機的多分類擴展算法研究.pdf

1、支持向量機(SVM)是上世紀九十年代中期提出的新一代機器學(xué)習(xí)技術(shù)，它基于統(tǒng)計學(xué)習(xí)理論，至今仍然是研究的熱點，被許多領(lǐng)域的研究用來作為學(xué)習(xí)機器。支持向量機以結(jié)構(gòu)風(fēng)險最小化原則為基礎(chǔ)，因此能夠較好地處理小樣本情況下的學(xué)習(xí)問題，它較好地解決了傳統(tǒng)基于數(shù)據(jù)的學(xué)習(xí)方法可能出現(xiàn)的過學(xué)習(xí)、高維數(shù)、局部極小點等問題。統(tǒng)計學(xué)習(xí)理論和支持向量機作為小樣本學(xué)習(xí)的代表性理論，在人工智能和機器學(xué)習(xí)的各個領(lǐng)域的應(yīng)用和研究都受到了重視。
　　支持向量機本身是被

2、設(shè)計作為二分類器，而對于實際分類問題大多數(shù)時間需要進行多類分類，目前的多分類擴展方法主要有兩類，一類是直接法，直接在目標函數(shù)上進行修改，將多個二次規(guī)劃問題求解合并到一個最優(yōu)化問題中，通過直接求解該最優(yōu)化問題來實現(xiàn)多類分類。這樣做雖然思路簡單，但是在大部分現(xiàn)實場景下問題的形式都過于復(fù)雜難以求解，雖然也存在對直接法的研究，但是沒有辦法從根本上擺脫問題的復(fù)雜性；另一類是間接法，主要是通過多個二分類器通過某種方式集成來實現(xiàn)多分類器的功能，這是支

3、持向量機研究中的重要內(nèi)容。
　　本文主要做了以下方面的工作：
　　1.介紹了機器學(xué)習(xí)和統(tǒng)計學(xué)習(xí)理論的發(fā)展歷史和研究現(xiàn)狀，討論了支持向量機中的基本理論和問題求解算法。
　　2.對目前主要的基于支持向量機的多分類方法進行了介紹和對比。DAGSVM作為SVM多分類方法中使用得較多、準確度相對較高的基本方法之一，從它的層次結(jié)構(gòu)上看仍然有可以提高準確度的可能，本文中提出對DAG結(jié)構(gòu)估計分類準確度的方法，從備選結(jié)構(gòu)中用窮舉法選擇出