不完全數(shù)據(jù)中缺失值填充關(guān)鍵技術(shù)研究.pdf

1、無(wú)論在研究領(lǐng)域還是工程領(lǐng)域,缺失數(shù)據(jù)都是一個(gè)不能忽視的嚴(yán)重問題。尤其隨著數(shù)據(jù)收集工作從人工轉(zhuǎn)向機(jī)器,數(shù)據(jù)量的急速膨脹使得各種數(shù)據(jù)質(zhì)量問題混雜其中,其中數(shù)據(jù)缺失更是難以避免。不正確的度量方法、收集條件的限制、手動(dòng)錄入時(shí)出現(xiàn)遺漏或者數(shù)據(jù)違反約束等問題都可能導(dǎo)致數(shù)據(jù)庫(kù)中的大量“空值”。美國(guó)Honeywell公司用于設(shè)備維護(hù)和測(cè)試的數(shù)據(jù)庫(kù)中缺失值比例高達(dá)50％以上。這并不稀奇,在醫(yī)藥領(lǐng)域由于其不規(guī)范的數(shù)據(jù)收集方法,數(shù)據(jù)丟失率更能達(dá)到60%以上。

2、
　　這些缺失值不僅意味著信息空白,更重要的是它會(huì)影響后續(xù)數(shù)據(jù)挖掘和統(tǒng)計(jì)分析等工作的進(jìn)行。一般對(duì)缺失值處理的方法包括刪除不完整記錄、當(dāng)作特殊值處理或者插補(bǔ)空值。顯然,插補(bǔ)的方法不管從量上還是質(zhì)上,對(duì)數(shù)據(jù)的處理結(jié)果都要好于前兩種。目前國(guó)內(nèi)外已提出了很多有關(guān)缺失值填充的方法。盡管這些方法在各自的應(yīng)用環(huán)境下都得到了很好的效果,但仍然存在一些不足。比如,一些模型像決策樹需要指定類屬性與條件屬性,這樣的模型每處理一個(gè)屬性就要訓(xùn)練一次模型,效

3、率很低。其次,很多算法對(duì)高維數(shù)據(jù)的處理能力有限,引入無(wú)用的變量不僅影響執(zhí)行效率,而且會(huì)干擾最終填充效果。第三、在沒有真值作為對(duì)比的情況下,無(wú)法評(píng)價(jià)不同屬性的填充效果。最后,很多算法只適用于小數(shù)據(jù)集,遠(yuǎn)遠(yuǎn)無(wú)法滿足目前對(duì)大量數(shù)據(jù)的處理要求。為解決上述問題,本文給出了一個(gè)基于貝葉斯網(wǎng)和概率推理的填充方法。與常用的貝葉斯網(wǎng)構(gòu)建算法不同,本文針對(duì)缺失值填充這一特定的應(yīng)用前提,從挖掘?qū)傩韵嚓P(guān)性入手構(gòu)建網(wǎng)絡(luò)。建立貝葉斯網(wǎng)時(shí)不設(shè)定任何目標(biāo)屬性,由影響最

4、大的屬性作為根。這一過程不需要用戶對(duì)數(shù)據(jù)有太多了解,完全由算法自動(dòng)完成。根據(jù)貝葉斯網(wǎng)自身的條件獨(dú)立性假設(shè)可以分解對(duì)多維聯(lián)合概率的求解,降低在處理高維數(shù)據(jù)時(shí)的復(fù)雜度。填充值根據(jù)概率推理結(jié)果得到。推理產(chǎn)生的概率信息能夠反映填充值的不確定程度,即概率越小,準(zhǔn)確率越低,反之,準(zhǔn)確率越高。這就為評(píng)價(jià)填充質(zhì)量提供了一個(gè)參考。為使算法適用于混合屬性集,本文在貝葉斯網(wǎng)中加入了對(duì)連續(xù)屬性的處理,所有屬性的填充均在一個(gè)模型下完成。針對(duì)大數(shù)據(jù)集,應(yīng)用并行技術(shù)