非平衡數(shù)據(jù)集分類(lèi)算法及其應(yīng)用.pdf

1、非平衡數(shù)據(jù)集是指同一個(gè)數(shù)據(jù)集中某些類(lèi)的樣本數(shù)遠(yuǎn)遠(yuǎn)少于其他類(lèi)的樣本數(shù)，它廣泛存在于現(xiàn)實(shí)生活中.利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法分類(lèi)，對(duì)于數(shù)目少的類(lèi)來(lái)說(shuō)分類(lèi)準(zhǔn)確率很低，而對(duì)于數(shù)目多的類(lèi)則相對(duì)較高.但在非平衡數(shù)據(jù)集中，數(shù)目少的類(lèi)往往是關(guān)注的對(duì)象，因此傳統(tǒng)算法對(duì)于解決非平衡數(shù)據(jù)集分類(lèi)問(wèn)題的能力有限.近年來(lái)，非平衡數(shù)據(jù)集的分類(lèi)問(wèn)題得到了國(guó)內(nèi)外專(zhuān)家的廣泛關(guān)注，取得了一些成果，并在相關(guān)領(lǐng)域得到應(yīng)用.
　　本文在KAIG模型的框架下，基于信息粒的觀點(diǎn)，對(duì)非

2、平衡數(shù)據(jù)集分類(lèi)問(wèn)題和知識(shí)獲取做了進(jìn)一步的研究，并將其應(yīng)用于電信客戶(hù)流失預(yù)測(cè)領(lǐng)域中.本文主要取得了以下研究成果:
　　(1)對(duì)KAIG算法進(jìn)行了部分改進(jìn)，引入了Purity參數(shù)來(lái)度量粒重疊的程度.實(shí)例表明它有利于確定粒重疊程度和在無(wú)法完全消除粒重疊現(xiàn)象時(shí)可以設(shè)定一個(gè)閾值來(lái)判斷是否達(dá)到某種可接受的粒重疊程度，這為原有KAIG模型提供了一個(gè)新的度量工具.此外在利用次屬性解決粒重疊問(wèn)題時(shí)，若屬性值為連續(xù)型數(shù)據(jù)，則將其轉(zhuǎn)化為離散型數(shù)據(jù)再利用

3、次屬性來(lái)降低粒重疊程度，不斷由Purity參數(shù)來(lái)決定是否校正次屬性區(qū)間.雖然不能完全消除粒重疊，但是可以大大減少粒重疊的程度，有助于更有效地在屬性值為連續(xù)型數(shù)值型數(shù)據(jù)中提取規(guī)則.實(shí)驗(yàn)表明改進(jìn)的KAIG算法不僅對(duì)非平衡數(shù)據(jù)集分類(lèi)性能較好，而且對(duì)于平衡數(shù)據(jù)集的分類(lèi)性能也與其他傳統(tǒng)分類(lèi)算法基本相當(dāng)，特別在當(dāng)屬性值是連續(xù)值時(shí)比原有KAIG算法分類(lèi)性能更好.
　　(2)將改進(jìn)的KAIG算法應(yīng)用于電信客戶(hù)流失預(yù)測(cè)問(wèn)題.由于電信客戶(hù)流失是較為典

4、型的非平衡數(shù)據(jù)集，以山西省某市某電信運(yùn)營(yíng)商2007年4月至7月的固定電話用戶(hù)的數(shù)據(jù)為訓(xùn)練集，對(duì)其提取規(guī)則，并預(yù)測(cè)了2007年8月的客戶(hù)流失情況.同時(shí)與目前該運(yùn)營(yíng)商以C5.0和Logistic回歸方法為核心的客戶(hù)流失預(yù)測(cè)模型進(jìn)行了對(duì)比，實(shí)驗(yàn)證明了該算法的有效性.在針對(duì)電信客戶(hù)流失預(yù)測(cè)的實(shí)際問(wèn)題中，首次將ROC曲線引入來(lái)度量電信客戶(hù)流失預(yù)測(cè)的準(zhǔn)確率.
　　本文對(duì)非平衡數(shù)據(jù)集的分類(lèi)問(wèn)題和電信客戶(hù)流失的預(yù)測(cè)問(wèn)題進(jìn)行了一些研究.但是，如何對(duì)