基于支持向量數(shù)據(jù)描述的分類識別算法研究.pdf

1、統(tǒng)計學(xué)習(xí)理論(SLT)是Vapnik等人提出的一種小樣本統(tǒng)計理論，主要研究小樣本情況下的統(tǒng)計規(guī)律及學(xué)習(xí)方法性質(zhì)。它為機器學(xué)習(xí)問題建立了一個較好的理論框架，并且在這框架下發(fā)展出了一種新的學(xué)習(xí)方法--支持向量機(SVM)。
　　 支持向量機能較好地解決許多學(xué)習(xí)方法中的過學(xué)習(xí)、高維數(shù)、局部極小點等實際問題。在實際應(yīng)用中，它不輸于神經(jīng)網(wǎng)絡(luò)或決策樹等方法。作為小樣本學(xué)習(xí)的最佳理論，統(tǒng)計學(xué)習(xí)理論和支持向量機受到越來越廣泛的重視，已經(jīng)成為人工

2、智能和機器學(xué)習(xí)領(lǐng)域的研究熱點。然而，由于出現(xiàn)的時間較晚，支持向量機在很多方面還不成熟、不完善，需要進(jìn)一步地研究和改進(jìn)。在眾多研究中，支持向量數(shù)據(jù)描述(SVDD)方法憑借其良好的性能得到了廣大研究者的重視。
　　 本文主要討論了以下內(nèi)容：
　　 第一章和第二章主要介紹了支持向量機的研究背景、研究現(xiàn)狀，闡述了統(tǒng)計學(xué)習(xí)理論以及二類支持向量機的主要思想和解決方法。
　　 第三章引入支持向量數(shù)據(jù)描述，討論了多種求解方法，然

3、后通過實驗對各種方法進(jìn)行比較。SVDD的基本思想是對給定的樣本集構(gòu)造一個最小包圍球，這個最小包圍球盡可能多的包含樣本集中的樣本。支持向量數(shù)據(jù)描述可以寫成與支持向量分類器(SVC)類似的形式。它把數(shù)據(jù)映射到高維特征空間中，但并沒有增加額外的計算代價。這種映射使得算法能更靈活地處理問題。當(dāng)樣本點的維數(shù)較大時，傳統(tǒng)的求解支持向量數(shù)據(jù)描述方法顯得很無力。因此，人們把注意力轉(zhuǎn)向近似算法。其中一種近似算法可以利用核集有效的求解出-近似的支持向量數(shù)據(jù)

4、描述問題。這種方法把核集當(dāng)作樣本集的一個近似，通過反復(fù)的對核集求解最優(yōu)化問題來得到原始優(yōu)化問題的解。令人驚訝的是，核集的最終大小與樣本維數(shù)和樣本個數(shù)都無關(guān)。
　　 第四章介紹了核向量機，并提出了新算法。標(biāo)準(zhǔn)SVM在訓(xùn)練的時候需要的時間復(fù)雜度和的空間復(fù)雜度，為樣本個數(shù)。因此當(dāng)樣本數(shù)巨大時，標(biāo)準(zhǔn)SVM的訓(xùn)練變得十分困難。核向量機(CVM)展示了SVM的二次優(yōu)化問題可以轉(zhuǎn)化為硬間隔SVDD的等價形式。實驗表明CVM在預(yù)測時與SVM的預(yù)

5、測精度相當(dāng)，但CVM的訓(xùn)練速度更快，可以處理大規(guī)模數(shù)據(jù)。在此,本文提出SVM的二次優(yōu)化問題可以轉(zhuǎn)化為軟間隔SVDD的等價形式，并通過仿真實驗與已知方法比較，說明了本文提出的這種方法的有效性。
　　 第五章介紹了高斯核的性質(zhì)、它對SVDD性能的影響以及一種高斯核參數(shù)優(yōu)化算法。在眾多核函數(shù)中，高斯核憑借其特殊的性質(zhì)，得到了許多研究者的重視。然而，研究表明，SVDD的性能受高斯核參數(shù)的影響很大。因此，最優(yōu)高斯核參數(shù)應(yīng)該使得特征空間中的