非平衡數據集分類算法及其應用.pdf

1、非平衡數據集是指同一個數據集中某些類的樣本數遠遠少于其他類的樣本數，它廣泛存在于現(xiàn)實生活中.利用傳統(tǒng)的機器學習方法分類，對于數目少的類來說分類準確率很低，而對于數目多的類則相對較高.但在非平衡數據集中，數目少的類往往是關注的對象，因此傳統(tǒng)算法對于解決非平衡數據集分類問題的能力有限.近年來，非平衡數據集的分類問題得到了國內外專家的廣泛關注，取得了一些成果，并在相關領域得到應用.
　　本文在KAIG模型的框架下，基于信息粒的觀點，對非

2、平衡數據集分類問題和知識獲取做了進一步的研究，并將其應用于電信客戶流失預測領域中.本文主要取得了以下研究成果:
　　(1)對KAIG算法進行了部分改進，引入了Purity參數來度量粒重疊的程度.實例表明它有利于確定粒重疊程度和在無法完全消除粒重疊現(xiàn)象時可以設定一個閾值來判斷是否達到某種可接受的粒重疊程度，這為原有KAIG模型提供了一個新的度量工具.此外在利用次屬性解決粒重疊問題時，若屬性值為連續(xù)型數據，則將其轉化為離散型數據再利用

3、次屬性來降低粒重疊程度，不斷由Purity參數來決定是否校正次屬性區(qū)間.雖然不能完全消除粒重疊，但是可以大大減少粒重疊的程度，有助于更有效地在屬性值為連續(xù)型數值型數據中提取規(guī)則.實驗表明改進的KAIG算法不僅對非平衡數據集分類性能較好，而且對于平衡數據集的分類性能也與其他傳統(tǒng)分類算法基本相當，特別在當屬性值是連續(xù)值時比原有KAIG算法分類性能更好.
　　(2)將改進的KAIG算法應用于電信客戶流失預測問題.由于電信客戶流失是較為典

4、型的非平衡數據集，以山西省某市某電信運營商2007年4月至7月的固定電話用戶的數據為訓練集，對其提取規(guī)則，并預測了2007年8月的客戶流失情況.同時與目前該運營商以C5.0和Logistic回歸方法為核心的客戶流失預測模型進行了對比，實驗證明了該算法的有效性.在針對電信客戶流失預測的實際問題中，首次將ROC曲線引入來度量電信客戶流失預測的準確率.
　　本文對非平衡數據集的分類問題和電信客戶流失的預測問題進行了一些研究.但是，如何對