海量樣本下的支持向量機(jī)研究.pdf

1、支持向量機(jī)(Support Vector Machines，SVM)是Vapnik等人提出的一類(lèi)新型機(jī)器學(xué)習(xí)方法。由于其出色的學(xué)習(xí)性能，近年來(lái)已成為機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，并在很多領(lǐng)域都得到了成功的應(yīng)用，如生物信息學(xué)、人臉檢測(cè)、手寫(xiě)體數(shù)字識(shí)別等。但支持向量機(jī)尚有許多問(wèn)題有待于理論和算法的發(fā)展和完善，如海量樣本下求解過(guò)程的冗余問(wèn)題，對(duì)強(qiáng)噪聲的敏感問(wèn)題，多類(lèi)別分類(lèi)問(wèn)題等。這些問(wèn)題制約著支持向量機(jī)在各個(gè)領(lǐng)域的進(jìn)一步應(yīng)用以及該算法對(duì)各種類(lèi)型原始數(shù)

2、據(jù)的支持。特別是對(duì)于海量樣本的處理，支持向量機(jī)在訓(xùn)練速度和訓(xùn)練精度上還有待提高。高效、快速的實(shí)現(xiàn)方法是支持向量機(jī)進(jìn)一步實(shí)用化的關(guān)鍵技術(shù)，因此本課題著重研究海量樣本下的支持向量機(jī)的求解算法，主要從樣本的預(yù)處理和工作集選擇策略兩方面著手，解決海量樣本下支持向量機(jī)求解過(guò)程的冗余問(wèn)題。 本文首先詳細(xì)分析了支持向量機(jī)算法及其訓(xùn)練過(guò)程，剖析了現(xiàn)有的一些算法在運(yùn)算過(guò)程中的迭代機(jī)理；深入分析了支持向量機(jī)計(jì)算迭代過(guò)程中迭代緩慢的主要原因；進(jìn)而從樣

3、本預(yù)處理和減少工作集選擇代價(jià)方面提出了相應(yīng)的改進(jìn)策略，有效地加快了海量樣本下支持向量機(jī)的快速訓(xùn)練算法。 本文主要工作包括： 1．系統(tǒng)分析了支持向量機(jī)的理論基礎(chǔ)及其訓(xùn)練問(wèn)題的數(shù)學(xué)描述,SVM訓(xùn)練問(wèn)題歸結(jié)為解一個(gè)帶有線性等式和不等式約束的大規(guī)模凸二次規(guī)劃問(wèn)題。概括了SVM的泛化性能，并對(duì)當(dāng)前流行的一些快速分解算法進(jìn)行了詳細(xì)的對(duì)比分析。 2．研究了海量樣本下支持向量機(jī)的樣本約簡(jiǎn)策略。樣本約簡(jiǎn)的目的就是將支持向量預(yù)先提取

4、作為新的訓(xùn)練集，減小訓(xùn)練代價(jià)。本文概括了樣本約簡(jiǎn)的三大思路，并提出了一種新的約簡(jiǎn)算法——基于K-鄰界子聚類(lèi)區(qū)的樣本約簡(jiǎn)算法。該算法提出K-鄰界子聚類(lèi)區(qū)的概念，該區(qū)域基本覆蓋了兩類(lèi)樣本的鄰界區(qū)域，有效地改善了現(xiàn)有算法中鄰界樣本提取不全的缺點(diǎn)。 3．深入研究了SVM工作集的選擇策略。工作集選擇是SVM優(yōu)化算法的關(guān)鍵步驟，直接影響著SVM的訓(xùn)練速度。本文重點(diǎn)討論了三種常見(jiàn)的訓(xùn)練算法：SVMlight、Platt的SMO和LIBSVM。