支持向量機的多分類擴展算法研究.pdf

1、支持向量機(SVM)是上世紀九十年代中期提出的新一代機器學習技術，它基于統(tǒng)計學習理論，至今仍然是研究的熱點，被許多領域的研究用來作為學習機器。支持向量機以結構風險最小化原則為基礎，因此能夠較好地處理小樣本情況下的學習問題，它較好地解決了傳統(tǒng)基于數(shù)據(jù)的學習方法可能出現(xiàn)的過學習、高維數(shù)、局部極小點等問題。統(tǒng)計學習理論和支持向量機作為小樣本學習的代表性理論，在人工智能和機器學習的各個領域的應用和研究都受到了重視。
　　支持向量機本身是被

2、設計作為二分類器，而對于實際分類問題大多數(shù)時間需要進行多類分類，目前的多分類擴展方法主要有兩類，一類是直接法，直接在目標函數(shù)上進行修改，將多個二次規(guī)劃問題求解合并到一個最優(yōu)化問題中，通過直接求解該最優(yōu)化問題來實現(xiàn)多類分類。這樣做雖然思路簡單，但是在大部分現(xiàn)實場景下問題的形式都過于復雜難以求解，雖然也存在對直接法的研究，但是沒有辦法從根本上擺脫問題的復雜性；另一類是間接法，主要是通過多個二分類器通過某種方式集成來實現(xiàn)多分類器的功能，這是支

3、持向量機研究中的重要內容。
　　本文主要做了以下方面的工作：
　　1.介紹了機器學習和統(tǒng)計學習理論的發(fā)展歷史和研究現(xiàn)狀，討論了支持向量機中的基本理論和問題求解算法。
　　2.對目前主要的基于支持向量機的多分類方法進行了介紹和對比。DAGSVM作為SVM多分類方法中使用得較多、準確度相對較高的基本方法之一，從它的層次結構上看仍然有可以提高準確度的可能，本文中提出對DAG結構估計分類準確度的方法，從備選結構中用窮舉法選擇出