基于Hadoop的模糊支持向量機算法研究.pdf

1、支持向量機是一種建立在統(tǒng)計理論基礎(chǔ)之上的機器學(xué)習(xí)方法，是統(tǒng)計學(xué)習(xí)理論中結(jié)構(gòu)最小化思想在實際中的體現(xiàn)，它較好的解決了非線性、高維度、過學(xué)習(xí)等問題，且被成功應(yīng)用到語音識別、人臉識別、文章分類等多個領(lǐng)域。然而客觀世界存在著大量模糊信息，如果使用支持向量機訓(xùn)練含有模糊信息的樣本時，其分類性能將會受到很大影響，因此模糊支持向量機應(yīng)運而生，對模糊支持向量機的研究無疑成為近年來的研究熱點。
　　模糊支持向量機處理不平衡數(shù)據(jù)集時存在嚴(yán)重分類偏差，

2、且隸屬度函數(shù)不能準(zhǔn)確有效的反映出樣本的重要性。針對此問題，本文提出了一種面向不平衡數(shù)據(jù)集的模糊支持向量機模型。首先，根據(jù)正、負(fù)類樣本數(shù)的不平衡比例，引入不平衡因子，接著在進行隸屬度函數(shù)設(shè)計的過程中，結(jié)合樣本緊密度與樣本距離因素，將樣本點分為孤立點、噪聲點、邊界點以及安全樣本點，根據(jù)這些樣本點的不同重要程度分別賦予不同的隸屬度。實驗結(jié)果表明這種方式在處理不平衡數(shù)據(jù)集，尤其是存在較多孤立、噪聲點的不平衡數(shù)據(jù)時具有較大的優(yōu)勢。
　　模糊

3、支持向量機存在訓(xùn)練時間較長且不能對大規(guī)模數(shù)據(jù)集進行有效訓(xùn)練等問題，為了解決該問題，本文提出一種基于hadoop的模糊支持向量機。該方法結(jié)合hadoop平臺處理大規(guī)模數(shù)據(jù)的高效性，利用層疊式分層的思想設(shè)計 mapreduce分層模型，首先對樣本集進行等效劃分，對劃分后的子數(shù)據(jù)集使用本文提出的模糊支持向量機訓(xùn)練得到支持向量點，兩兩合并后再次訓(xùn)練，重復(fù)以上過程直到得到全局支持向量點集。該方式能夠?qū)Υ笠?guī)模數(shù)據(jù)的處理分而治之，減少訓(xùn)練時間。本文