GPU集群環(huán)境下支持向量機(jī)訓(xùn)練的異構(gòu)并行實(shí)現(xiàn).pdf

1、支持向量機(jī)(SVM)具有理論基礎(chǔ)完備、所需訓(xùn)練樣本數(shù)目少、泛化能力強(qiáng)等優(yōu)點(diǎn)，已經(jīng)在文本分類(lèi)、人臉圖像識(shí)別、手寫(xiě)數(shù)字識(shí)別、語(yǔ)音識(shí)別、生物信息學(xué)等模式識(shí)別領(lǐng)域中獲得廣泛應(yīng)用。SVM訓(xùn)練可表示為一個(gè)二次規(guī)劃(QP)問(wèn)題，由于內(nèi)點(diǎn)法(IPM)是求解線性和非線性QP問(wèn)題的有效方法，因此可用于SVM訓(xùn)練算法的求解。但對(duì)于大規(guī)模數(shù)據(jù)集，SVM訓(xùn)練仍然存在內(nèi)存需求大、運(yùn)行時(shí)間長(zhǎng)等缺點(diǎn)，這對(duì)SVM的應(yīng)用范圍及其有效性形成很大制約，已成為其發(fā)展瓶頸。

2、>　　 集群是目前最流行的一種高性能計(jì)算系統(tǒng)，近幾年在TOP500中所占比例一直穩(wěn)定在80％以上。值得注意的是，2012年11月發(fā)布的TOP500中帶有加速器的超級(jí)計(jì)算機(jī)系統(tǒng)已達(dá)12.4％。圖形處理單元(GPU)比CPU具有更高的浮點(diǎn)運(yùn)算能力和內(nèi)存帶寬，尤其適用于數(shù)據(jù)并行計(jì)算，在TOP500中絕大多數(shù)帶有加速器的超級(jí)計(jì)算機(jī)都采用了GPU?？梢灶A(yù)見(jiàn)，GPU集群將是未來(lái)一段時(shí)間的主流高性能計(jì)算平臺(tái)。
　　 針對(duì)使用大規(guī)模數(shù)據(jù)集進(jìn)行

3、SVM訓(xùn)練時(shí)存在的內(nèi)存需求大、運(yùn)行時(shí)間長(zhǎng)等問(wèn)題，本文在GPU集群環(huán)境下，提出采用MPI+CUDA混合編程模式求解基于IPM算法的SVM訓(xùn)練問(wèn)題。通過(guò)將數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上降低對(duì)單節(jié)點(diǎn)的內(nèi)存需求，并使用GPU加速對(duì)計(jì)算密集部分的求解，包括不完全喬列斯基分解(ICF)、I-H(τ)D-1H、喬列斯基分解(CF)和Δx等，提高SVM訓(xùn)練的速度。在千兆網(wǎng)連接的5節(jié)點(diǎn)GPU集群系統(tǒng)環(huán)境下，使用ticdata、ijcnn1、covtypes、rcv