面向不平衡數(shù)據(jù)分類問(wèn)題的核邏輯回歸算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、分類問(wèn)題是一個(gè)常見(jiàn)的機(jī)器學(xué)習(xí)任務(wù)，廣泛存在于多個(gè)領(lǐng)域，例如疾病診斷、石油勘探、信用評(píng)分等等。其中由于數(shù)據(jù)在類間分布不平衡給分類帶來(lái)的困難日益引起注意。傳統(tǒng)分類模型和分類結(jié)果評(píng)估標(biāo)準(zhǔn)在不平衡數(shù)據(jù)分類問(wèn)題上的效果往往差強(qiáng)人意，提高不平衡數(shù)據(jù)分類效果的研究目標(biāo)受到廣泛重視。不平衡數(shù)據(jù)分類問(wèn)題與傳統(tǒng)分類問(wèn)題的一個(gè)重要區(qū)別在于，傳統(tǒng)的分類結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)如精度并不能很好地體現(xiàn)模型在不平衡數(shù)據(jù)上的分類效果。故在評(píng)估不平衡數(shù)據(jù)分類時(shí)，通常引入分類結(jié)果的混

2、淆矩陣，并根據(jù)混淆矩陣計(jì)算得到若干評(píng)價(jià)標(biāo)準(zhǔn)，包括敏感度、特異度、陽(yáng)性預(yù)測(cè)值、陰性預(yù)測(cè)值和F-measure、受試者工作特征曲線ROC curve等。
　　利用核函數(shù)方法將邏輯回歸分類模型進(jìn)行擴(kuò)展可得到核邏輯回歸分類模型KLR。得益于邏輯回歸模型和核函數(shù)方法各自的特點(diǎn)，核邏輯回歸分類模型不僅具有可提供預(yù)測(cè)概率的優(yōu)點(diǎn)，同時(shí)可以使用高維度空間中的線性超平面將原始輸入空間線性不可分的數(shù)據(jù)進(jìn)行分類。核邏輯回歸分類模型的應(yīng)用要點(diǎn)除了選擇合適的

3、目標(biāo)函數(shù)以對(duì)模型參數(shù)進(jìn)行優(yōu)化，同時(shí)包括如何選擇模型超參數(shù)，具體為如何選擇核函數(shù)參數(shù)、正則化項(xiàng)系數(shù)以及判別函數(shù)的偏置項(xiàng)。
　　對(duì)于不平衡數(shù)據(jù)分類問(wèn)題，適當(dāng)選擇和調(diào)整超參數(shù)對(duì)核邏輯回歸模型的分類效果具有重要意義。本研究在傳統(tǒng)核邏輯回歸函數(shù)的基礎(chǔ)上，結(jié)合不平衡數(shù)據(jù)分類結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)的選擇，以基于混淆矩陣的評(píng)價(jià)標(biāo)準(zhǔn)綜合值作為評(píng)估標(biāo)準(zhǔn)，利用網(wǎng)格搜索和交叉驗(yàn)證實(shí)現(xiàn)核邏輯回歸分類模型的超參數(shù)選擇，最終形成一個(gè)針對(duì)不平衡數(shù)據(jù)分類問(wèn)題的核邏輯回歸模型

4、。研究的實(shí)驗(yàn)部分利用若干不平衡比例不同的數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集，以支持向量機(jī)SVM作為對(duì)照分類器，驗(yàn)證核邏輯回歸分類模型在不平衡數(shù)據(jù)上的分類效果。在實(shí)驗(yàn)的第一階段，采用敏感度、特異度、陽(yáng)性預(yù)測(cè)值、陰性預(yù)測(cè)值四個(gè)評(píng)價(jià)標(biāo)準(zhǔn)的調(diào)和平均數(shù)作為綜合評(píng)估值參與核邏輯回歸分類模型超參數(shù)選擇過(guò)程。第二階段重點(diǎn)考察敏感度和特異度，以二者的調(diào)和平均數(shù)作為評(píng)估值進(jìn)行超參數(shù)選擇。實(shí)驗(yàn)結(jié)果表明，在大多數(shù)情況下K L R對(duì)基準(zhǔn)數(shù)據(jù)集的分類效果優(yōu)于SVM。由本研究可知