支持向量機(jī)的若干算法研究.pdf

1、支持向量機(jī)是一種通用的學(xué)習(xí)機(jī)器,是數(shù)據(jù)挖掘中的一項(xiàng)新技術(shù)，是借助于最優(yōu)化方法解決機(jī)器學(xué)習(xí)問(wèn)題的新工具.其核心問(wèn)題是對(duì)一個(gè)大規(guī)模凸二次規(guī)劃問(wèn)題進(jìn)行求解.分解算法是求解支持向量機(jī)的一類(lèi)基于工作集選擇的有效算法.隱私保護(hù)支持向量機(jī)算法則是在隱私保護(hù)數(shù)據(jù)挖掘算法基礎(chǔ)上新興起來(lái)的一個(gè)研究方向，在銀行、保險(xiǎn)公司、醫(yī)學(xué)研究機(jī)構(gòu)等行業(yè)有著廣泛的應(yīng)用.本文主要研究求解支持向量機(jī)的簡(jiǎn)化分解算法和針對(duì)分布式數(shù)據(jù)的隱私保護(hù)支持向量機(jī)算法，主要工作如下：

2、　　首先，通過(guò)回顧支持向量機(jī)算法的發(fā)展過(guò)程及總結(jié)其研究現(xiàn)狀，引出本文所做的主要工作.
　　考慮到無(wú)論是原始支持向量機(jī)模型，還是本文重點(diǎn)討論的隱私保護(hù)支持向量機(jī)模型，其本質(zhì)問(wèn)題是對(duì)一個(gè)大規(guī)模凸二次規(guī)劃的求解，因此本文首先從研究支持向量機(jī)和對(duì)應(yīng)乘子之間的關(guān)系著手，并給出一個(gè)新的分解算法.
　　第二章中，基于支持向量機(jī)模型中支持向量的重要性，對(duì)支持向量和對(duì)應(yīng)乘子之間的關(guān)系進(jìn)行了理論分析，并借助圖形，直觀(guān)地分析了支持向量相對(duì)于決策面

3、的幾何關(guān)系.同時(shí)，通過(guò)對(duì)簡(jiǎn)化算法的終止條件及工作集選擇的分析，探討了違背和最大違背KKT條件對(duì)的幾何含義，為直觀(guān)理解終止條件及工作集選擇方案提供理論依據(jù).
　　第三章中，通過(guò)對(duì)求解大規(guī)模支持向量機(jī)的分解算法中各種工作集選擇方法的優(yōu)劣進(jìn)行比較，提出一類(lèi)求解基于帶有線(xiàn)性等式和上下界約束優(yōu)化問(wèn)題的大規(guī)模支持向量機(jī)模型的新分解算法.該算法每次迭代的可行下降方向從具有偶數(shù)個(gè)分量的相對(duì)稀疏可行方向中選取.在假設(shè)水平方向集中至少有一組下標(biāo)對(duì)應(yīng)的

4、分量嚴(yán)格在上下界之間的前提下，證明了算法的全局收斂性，并通過(guò)數(shù)值實(shí)驗(yàn)驗(yàn)證了算法的有效性.
　　本文的下半部分，主要研究隱私保護(hù)支持向量機(jī)算法.
　　第四章和第五章，分別針對(duì)數(shù)據(jù)垂直分布與水平分布的情況，提出了兩個(gè)隱私保護(hù)支持向量機(jī)算法.對(duì)于數(shù)據(jù)垂直分布的情形，算法直接基于矩陣分解的理論，給出的分類(lèi)器是公開(kāi)的，但是未泄露任何參與方的原始數(shù)據(jù).對(duì)于數(shù)據(jù)水平分布的情況，與已有的SVM分類(lèi)器不同，算法借助了安全多方計(jì)算的加密技術(shù)，給

5、出的分類(lèi)器是公開(kāi)的，同樣也未揭露任何參與方的原始數(shù)據(jù).利用矩陣分解理論證明了算法的可行性.數(shù)值實(shí)驗(yàn)表明我們給出的隱私保護(hù)支持向量機(jī)算法的分類(lèi)精度要比Mangasrian的簡(jiǎn)約隱私保護(hù)支持向量機(jī)算法的分類(lèi)精度高.
　　第六章，針對(duì)數(shù)據(jù)任意分割的情況，利用數(shù)據(jù)水平分布情況下的矩陣乘積的安全性策略，提出了一個(gè)隱私保護(hù)支持向量機(jī)算法，在未揭露任何參與方的原始數(shù)據(jù)的情況下給出了公開(kāi)的分類(lèi)器.該算法的分類(lèi)精度比Mangasarian給出的簡(jiǎn)約