基于人工神經(jīng)網(wǎng)絡(luò)的分類方法研究及其在個人信用評估中的應(yīng)用.pdf

1、當(dāng)前人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,.ANN)的研究正處于新一輪的再認(rèn)識中,除了改進(jìn)算法外,對基礎(chǔ)理論和工作機理的深入解釋均有待突破.在對神經(jīng)網(wǎng)絡(luò)分類方法的研究探討基礎(chǔ)上,本文側(cè)重討論了一種新的ANN分類方法--支持向量機(Support Vector Machine,SVM),并將其應(yīng)用于銀行個人信用評估領(lǐng)域中,建立了較準(zhǔn)確的分類預(yù)測模型. 支持向量機是由Vapnik<'[1]>于1995年提

2、出的針對分類和回歸問題的統(tǒng)計學(xué)習(xí)理論,是在高維特征空間使用線性函數(shù)假設(shè)空間的學(xué)習(xí)系統(tǒng).近年來,其理論研究和算法實現(xiàn)方面都取得了突破性進(jìn)展,開始成為克服維數(shù)災(zāi)難和過學(xué)習(xí)等傳統(tǒng)困難的有力手段.由于SVM方法具有許多引人注目的優(yōu)點和有前途的實驗性能,越來越受重視.該技術(shù)已成為機器學(xué)習(xí)研究領(lǐng)域中的熱點,如人臉識別、手寫體數(shù)字識別和網(wǎng)頁分類等,并取得了理想效果. 隨著我國商業(yè)銀行消費信貸業(yè)務(wù)的展開,個人信用得到了空前的重視.因此個人信用評

3、估具有廣泛的應(yīng)用前景,國內(nèi)外學(xué)者對此做了大量的研究工作,提出了很多預(yù)處理和模式識別的算法,大大提高了預(yù)測精度.但到目前為止,個人信用評估預(yù)測精度還有待提高,樣本混疊、核函數(shù)核參數(shù)選擇等問題尚有待解決. 為了提高個人信用評估的精度,本文將改進(jìn)的支持向量機應(yīng)用于個人信用評估,開發(fā)了MULTIEDIT-SVM-KNN軟件系統(tǒng).系統(tǒng)在總結(jié)前人工作的基礎(chǔ)上,重點研究影響SVM 分類法性能的各種因子.把這一選擇最佳因子的方法流程化,驗證了改

4、進(jìn)的支持向量機在個人信用評估中的有效性.此外,本文在評估過程中提出了先用重復(fù)剪輯近鄰法(MULTIEDIT)修剪樣本,然后用SVM-KNN分類器分類的方法,期望該方法能對提高基于支持向量機的個人信用評估精度起到推動作用.本文主要工作體現(xiàn)在以下方面:(1)對神經(jīng)網(wǎng)絡(luò)分類方法進(jìn)行分析比較. 著重對BP算法、RBF網(wǎng)絡(luò)、SVM三種神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了比較分析,為個人信用評估選擇適用的分類方法.最終本文側(cè)重選擇SvM方法.(2)對訓(xùn)練算法

5、進(jìn)行比較分析. 對三種主流訓(xùn)練算法:Chunking算法,Osuna算法和SMO算法,在速度、精度和內(nèi)存節(jié)省等方面進(jìn)行對比.相比之下,SMO算法速度較快,精度較高,比較節(jié)省內(nèi)存,且適合大規(guī)模問題的求解.因此,本文選擇該算法作為SVM的訓(xùn)練算法. (3)針對國內(nèi)商業(yè)銀行個人信用數(shù)據(jù)庫數(shù)據(jù)特點,討論了個人信用評估過程中的數(shù)據(jù)準(zhǔn)備問題,提出引用主成分分析方法優(yōu)化個人信用指標(biāo). (4)提出了MULTIEDIT-SVM-K

6、NN方法,優(yōu)化SVM分類模型. 在對個人信用評估數(shù)據(jù)分類過程中,發(fā)現(xiàn)兩類訓(xùn)練樣本點集?；殳B較嚴(yán)重,使得支持向量分類機的分類面由于過分復(fù)雜反而降低了推廣能力、樣本點和最優(yōu)分類超平面的距離很近時,不能很好的分類等實際問題,提出一種首先使用重復(fù)剪輯近鄰法對訓(xùn)練集修剪,然后在分類階段計算待分類樣本點和最優(yōu)分類超平面的距離,用SVM-KNN分類器分類的MULTIEDIT-SVM-KNN方法,從而優(yōu)化了支持向量機分類模型. (5)驗

7、證:MULTIEDIT-SVM-KNN方法用于個人信用評估的有效性. 鑒于SVM的優(yōu)點,將其應(yīng)用于個人信用評估來提高預(yù)測精度,并開發(fā)了 MULTIEDIT-SVM-KNN軟件系統(tǒng).對具體的信用數(shù)據(jù)庫數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理、指標(biāo)優(yōu)化、格式轉(zhuǎn)換、歸一化、修剪樣本集、利用網(wǎng)格搜索和交互檢驗功能實現(xiàn)最佳核函數(shù)與核參數(shù)的選擇,最后將各方面選出的最優(yōu)因子用于訓(xùn)練,使用SVM-KNN方法分類,完成預(yù)測.將程序結(jié)果與使用其他技術(shù)對同一數(shù)據(jù)庫數(shù)據(jù)的預(yù)