基于可擴(kuò)展的支持向量機(jī)分類(lèi)算法及在信用評(píng)級(jí)中的應(yīng)用.pdf

1、支持向量機(jī)作為一種基于統(tǒng)計(jì)學(xué)習(xí)理論的新型機(jī)器學(xué)習(xí)方法，較好地解決了非線(xiàn)性、高維數(shù)、小樣本等實(shí)際問(wèn)題，是機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)。但是目前來(lái)說(shuō)支持向量機(jī)具有魯棒性較差、學(xué)習(xí)效率較低、分布式學(xué)習(xí)通信量大等缺陷。因此，本文針對(duì)支持向量機(jī)進(jìn)行改進(jìn)研究，包括在原有二叉樹(shù)支持向量機(jī)基礎(chǔ)上引入后驗(yàn)概率、在引入后驗(yàn)概率的基礎(chǔ)上將支持向量機(jī)向多類(lèi)分類(lèi)問(wèn)題進(jìn)行擴(kuò)展、針對(duì)對(duì)等傳感器網(wǎng)絡(luò)的完全分布式的支持向量機(jī)學(xué)習(xí)，并在企業(yè)信用評(píng)級(jí)系統(tǒng)中進(jìn)行應(yīng)用研究。具體來(lái)說(shuō)

2、，本文的主要工作和創(chuàng)新點(diǎn)總結(jié)如下:
　　 (1)后驗(yàn)概率支持向量機(jī)方法對(duì)孤立點(diǎn)和噪聲具有魯棒性，并且可以減少支持向量的數(shù)量，從而降低了計(jì)算復(fù)雜度。因此，針對(duì)最近提出的快速分類(lèi)算法c-BTS，引入樣本的后驗(yàn)概率，提出了一種基于后驗(yàn)概率的SVM決策樹(shù)算法(P2BTS)。實(shí)驗(yàn)結(jié)果證明，P2BTS比c-BTS的分類(lèi)精度更高，且基于后驗(yàn)概率支持向量機(jī)(PPSVM)的P2BTS所需的二類(lèi)分類(lèi)器個(gè)數(shù)明顯比c-BTS少，這在一定程度上減少了P2

3、BTS分類(lèi)決策的時(shí)間和比較的次數(shù)，提高了分類(lèi)效率。
　　 (2)在考慮Fisher比可分性測(cè)度的基礎(chǔ)上，將PPSVM擴(kuò)展到多類(lèi)分類(lèi)問(wèn)題，提出兩種決策樹(shù)結(jié)構(gòu)的PPSVM算法，分別為多對(duì)多PPSVM決策樹(shù)和一對(duì)多PPSVM決策樹(shù)。性能分析表明，無(wú)論是多對(duì)多方法還是一對(duì)多方法，兩種樹(shù)都包含n－1個(gè)PPSVM分類(lèi)器。兩種算法的平均收斂率分別為O(log2n)和O（（n！－1）/n）。實(shí)驗(yàn)表明，所提出的算法在提高分類(lèi)精度的同時(shí)，減少了所需

4、的支持向量數(shù)目和二類(lèi)分類(lèi)器個(gè)數(shù)，提高了分類(lèi)效率。
　　 (3)針對(duì)點(diǎn)對(duì)點(diǎn)傳感器網(wǎng)絡(luò)，基于平均一致性算法，提出了一種完全分布式的可擴(kuò)展支持向量機(jī)分類(lèi)算法(DS2VM)。該算法的主要優(yōu)勢(shì)是其訓(xùn)練過(guò)程僅需要局部智能體自身的樣本，然后只與其相鄰節(jié)點(diǎn)進(jìn)行通信就能對(duì)全局分類(lèi)器達(dá)到網(wǎng)絡(luò)范圍的一致性。由于所提出的算法僅需相鄰節(jié)點(diǎn)之間的信息交換，因此是規(guī)?？蓴U(kuò)展的。另外，提出了一種新的平均一致性，并對(duì)其收斂性和穩(wěn)定性進(jìn)行分析。通過(guò)對(duì)UCI機(jī)器學(xué)習(xí)

5、數(shù)據(jù)庫(kù)的實(shí)驗(yàn)分析，證明了所提出的DS2VM分類(lèi)算法非常接近集中式最優(yōu)分類(lèi)精度，且通信代價(jià)較傳統(tǒng)分布式SVM算法大大減小。
　　 (4)改進(jìn)算法在信用評(píng)級(jí)系統(tǒng)中的應(yīng)用。巴塞爾新資本協(xié)議希望并鼓勵(lì)各銀行發(fā)展內(nèi)部信用評(píng)級(jí)系統(tǒng)，而信用評(píng)級(jí)本質(zhì)上是一個(gè)非線(xiàn)性、小樣本問(wèn)題，樣本往往是含噪聲或者孤立點(diǎn)的，并且已有樣本不可避免存在模糊或錯(cuò)誤類(lèi)標(biāo)。因此，將以上改進(jìn)的SVM分類(lèi)方法應(yīng)用在信用評(píng)級(jí)系統(tǒng)中，就是十分自然的想法了。本文建立了基于改進(jìn)SVM