面向失衡數(shù)據(jù)的稀疏性問(wèn)題的研究.pdf

1、面向失衡數(shù)據(jù)的稀疏性問(wèn)題是數(shù)據(jù)挖掘領(lǐng)域中的研究難點(diǎn)之一。近年來(lái)，隨著全球信息科技的飛速發(fā)展和計(jì)算機(jī)技術(shù)的不斷提高，數(shù)據(jù)挖掘系統(tǒng)已經(jīng)成功運(yùn)用到醫(yī)學(xué)、電信、金融、工業(yè)生產(chǎn)等領(lǐng)域。然而，現(xiàn)實(shí)應(yīng)用中普遍存在著稀疏失衡數(shù)據(jù)集，這種數(shù)據(jù)集同時(shí)具有稀疏性和失衡性的特征，即數(shù)據(jù)集在宏觀上存在類別的不平衡性，大量數(shù)據(jù)中只有很小的一類數(shù)據(jù)是人們需要的，通常很難被識(shí)別和準(zhǔn)確分類；在微觀上數(shù)據(jù)集中存在大量數(shù)據(jù)值缺失，這種缺失一般是由于數(shù)據(jù)采集過(guò)程中的各種因素所

2、造成的，如果在預(yù)處理階段沒有采取有效的缺失值處理措施，將會(huì)對(duì)接下來(lái)的數(shù)據(jù)分類，尤其對(duì)失衡數(shù)據(jù)的分類造成很大影響。基于數(shù)據(jù)挖掘的應(yīng)用系統(tǒng)在利用大量歷史數(shù)據(jù)獲取有用知識(shí)的同時(shí)，由于數(shù)據(jù)稀疏性和失衡性問(wèn)題而導(dǎo)致系統(tǒng)的挖掘的精度和執(zhí)行效率大大降低。因此，如何在失衡數(shù)據(jù)分類過(guò)程中更好地解決稀疏性問(wèn)題引起廣大學(xué)者以及研究人員的重視和深入研究。
　　本文介紹了解決數(shù)據(jù)稀疏性問(wèn)題和解決數(shù)據(jù)失衡性問(wèn)題的研究現(xiàn)狀，并對(duì)數(shù)據(jù)失衡和稀疏問(wèn)題進(jìn)行了深入探討

3、，闡述了數(shù)據(jù)稀疏性和失衡性問(wèn)題的根本原因，以及目前所采用的解決辦法。針對(duì)稀疏失衡數(shù)據(jù)集，考慮到其形態(tài)的復(fù)雜性，從數(shù)據(jù)集的稀疏性和失衡性兩方面因素所導(dǎo)致的問(wèn)題出發(fā)提出了完整的解決方案。在失衡數(shù)據(jù)集的預(yù)處理階段采用基于稀疏數(shù)據(jù)聚類的方法對(duì)數(shù)據(jù)集進(jìn)行缺失值填充：首先提出了基于聚類協(xié)同過(guò)濾算法的單層填充方法對(duì)含有缺失值的數(shù)據(jù)集進(jìn)行一次性填充；其次針對(duì)單層填充方法的不足進(jìn)行改進(jìn)，提出了遞歸增量式聚類填充方法，通過(guò)對(duì)比填充值和真實(shí)值的誤差，驗(yàn)證了遞