基于MapReduce的非線性支持向量機(jī)分類算法研究.pdf

1、支持向量機(jī)（SupportVectorMachine，SVM）算法是數(shù)據(jù)挖掘及機(jī)器學(xué)習(xí)領(lǐng)域中健壯性和穩(wěn)定性較好的高精度算法，能夠非常成功地處理分類和回歸問題。然而，非線性SVM分類算法是一個(gè)計(jì)算密集型算法，僅適用于小樣本統(tǒng)計(jì)學(xué)習(xí)問題。面對(duì)當(dāng)今實(shí)際問題中的大數(shù)據(jù)集，本文旨在保持非線性SVM算法分類精度的基礎(chǔ)上提高其處理能力及運(yùn)行效率。
　　在對(duì)標(biāo)準(zhǔn)SVM算法及MapReduce編程模型進(jìn)行深入分析的基礎(chǔ)上，本文進(jìn)行了如下研究工作并取

2、得了一定的成果。
　　首先，為了提高串行非線性SVM算法的數(shù)據(jù)處理能力及運(yùn)行效率，提出了基于MapReduce的并行SVM(MR-SVM)算法。通過均勻劃分?jǐn)?shù)據(jù)集，在各數(shù)據(jù)分片上利用map任務(wù)并行求解支持向量集SVs，而后聯(lián)合各分布式訓(xùn)練結(jié)果利用一個(gè)reduce任務(wù)執(zhí)行SVM重訓(xùn)練得出SVM分類器。其中聯(lián)合重訓(xùn)練使得算法能自動(dòng)收斂。
　　其次，為了彌補(bǔ)MR-SVM算法中分布式訓(xùn)練帶來的精度損失，提出了基于MapReduce的

3、并行迭代SVM(MR-C-SVM)算法。引入了迭代計(jì)算機(jī)制，通過反饋循環(huán)訓(xùn)練直至算法收斂于全局最優(yōu)解。迭代過程中利用KKT條件篩選數(shù)據(jù)集的操作減少了重復(fù)計(jì)算。
　　再次，為了滿足在線學(xué)習(xí)的需求及克服集群存儲(chǔ)容量無法滿足需求的難題，在MR-SVM算法和MR-C-SVM算法的基礎(chǔ)上，提出了基于MapReduce的并行增量迭代SVM(MR-Ⅱ-SVM)算法。
　　此外，對(duì)MapReduce進(jìn)行了支持迭代的擴(kuò)展及針對(duì)MR-C-SVM