基于Hodoop平臺的并行增量式支持向量機學(xué)習(xí)算法研究.pdf

1、支持向量機是在統(tǒng)計學(xué)理論基礎(chǔ)上發(fā)展起來的一種新型學(xué)習(xí)算法，已在機器學(xué)習(xí)、模式識別等領(lǐng)域取得了較好的應(yīng)用效果，然而隨著訓(xùn)練數(shù)據(jù)集規(guī)模的不斷增大，支持向量機也表現(xiàn)出學(xué)習(xí)效率低下等缺點。針對這一問題，人們分別提出了增量學(xué)習(xí)和并行學(xué)習(xí)的解決方法。增量學(xué)習(xí)能較好地適應(yīng)數(shù)據(jù)的動態(tài)特性，并行學(xué)習(xí)能加快對大規(guī)模數(shù)據(jù)集的學(xué)習(xí)速度。但是，對同時兼具規(guī)模大、動態(tài)增長的大數(shù)據(jù)對象而言，這兩種算法仍然面臨學(xué)習(xí)速度較慢的問題。本文在增量學(xué)習(xí)和并行學(xué)習(xí)的基礎(chǔ)上，結(jié)合

2、Hadoop平臺處理大數(shù)據(jù)的優(yōu)勢，對大數(shù)據(jù)下支持向量機方法進(jìn)行了深入研究，具體內(nèi)容如下:
　　 (1)提出一種基于Bagging技術(shù)的并行增量式SVM學(xué)習(xí)算法BPISVM。算法一方面將增量學(xué)習(xí)過程并行化執(zhí)行，提高其學(xué)習(xí)速度，另一方面盡量增加各子分類器的分類信息來提高其學(xué)習(xí)精度。算法首先對訓(xùn)練數(shù)據(jù)并行學(xué)習(xí)得到多個子分類器，增量學(xué)習(xí)時用增量集并行地更新所有子分類器，保證每個子分類器都能夠獲得增量集中包含的新分類信息，更新方法為分別從

3、增量集和原訓(xùn)練數(shù)據(jù)中尋找潛在支持向量，與已有的支持向量集合并在一起進(jìn)行重新訓(xùn)練，盡量保證分類信息不丟失。算法基于MapReduce框架實現(xiàn)，仿真實驗結(jié)果表明，算法在有效保證學(xué)習(xí)精度的前提下，減少了計算內(nèi)存開銷，降低了學(xué)習(xí)次數(shù)，提高了學(xué)習(xí)速度。
　　 (2)提出一種基于AdaBoost技術(shù)的并行增量式SVM學(xué)習(xí)算法ABPISVM。算法的增量學(xué)習(xí)與并行學(xué)習(xí)階段都通過相同的學(xué)習(xí)過程得到帶權(quán)重的分類器。增量學(xué)習(xí)時，先對增量集學(xué)習(xí)得到新的

4、分類器，將其結(jié)果與已有分類器進(jìn)行比較，從而淘汰部分權(quán)重較低的分類器，僅保留權(quán)重較高的分類器作為增量學(xué)習(xí)的結(jié)果;為補償未進(jìn)行分類器更新帶來的分類信息損失，算法采用AdaBoost技術(shù)提升單個子分類器的性能。雖然AdaBoost增加了迭代過程，需要一定的時間開銷，但是由于算法不需要更新分類器，其綜合學(xué)習(xí)速度得到了提高。仿真實驗結(jié)果表明，該算法有較好的增量學(xué)習(xí)能力，顯著提高了學(xué)習(xí)速度。
　　 (3)設(shè)計并實現(xiàn)了一個基于Hadoop的海