數(shù)據(jù)預(yù)處理中數(shù)據(jù)缺失填補(bǔ)算法的研究與應(yīng)用.pdf

1、隨著技術(shù)的發(fā)展與科學(xué)的進(jìn)步,數(shù)據(jù)量的飛速增長已成為一個(gè)不容忽視的問題,面臨堆積如山的數(shù)據(jù),想要獲取有用的信息與知識(shí)并非易事。因此數(shù)據(jù)挖掘技術(shù)伴隨著人們的需求與科技的進(jìn)步獲得快速發(fā)展。然而在實(shí)際應(yīng)用時(shí),缺失數(shù)據(jù)的出現(xiàn)對(duì)所有數(shù)據(jù)分析技術(shù)包括數(shù)據(jù)挖掘都是一個(gè)普遍存在卻富于挑戰(zhàn)性的問題。
　　 缺失數(shù)據(jù)的產(chǎn)生因?yàn)槎喾N多樣,有主觀上人為的也有客觀上的難以獲取。它們廣泛存在于現(xiàn)實(shí)的數(shù)據(jù)集中,對(duì)數(shù)據(jù)分析產(chǎn)生嚴(yán)重影響:首先,系統(tǒng)丟失了大量的有用

2、信息,明顯削弱了信息與統(tǒng)計(jì)的能力;其次,增強(qiáng)了系統(tǒng)的不確定性,使得正常的數(shù)據(jù)分析方法不適用或難于應(yīng)用；最后,包含缺值的數(shù)據(jù)還會(huì)使挖掘過程陷人混亂,導(dǎo)致不可靠的輸出。因此如何正確處理這些缺失數(shù)據(jù)成為數(shù)據(jù)預(yù)處理過程中核心問題之一。
　　 缺失填補(bǔ)技術(shù)無論是在技術(shù)還是理論上都得到了空前的重視,國際上已有大量專家及研究機(jī)構(gòu)對(duì)些問題進(jìn)行深入研究。本文首先論述了缺失數(shù)據(jù)填補(bǔ)的意義及研究現(xiàn)狀,通過分析近年來出現(xiàn)的缺失填補(bǔ)策略,將其分成基于分類

3、、聚類、關(guān)聯(lián)的三種填補(bǔ)思想,在此基礎(chǔ)上提出一種新的缺失填補(bǔ)算法。通過對(duì)當(dāng)前幾個(gè)開源挖掘工具預(yù)處理模塊的研究,設(shè)計(jì)了一個(gè)處理缺失數(shù)據(jù)集的預(yù)處理模型,并通過研究基于分類思想及關(guān)聯(lián)思想的填補(bǔ)策略,對(duì)設(shè)計(jì)應(yīng)用于模型中新的缺失填補(bǔ)法,規(guī)則近鄰法進(jìn)行詳細(xì)設(shè)計(jì)實(shí)現(xiàn),通過實(shí)驗(yàn)對(duì)其填補(bǔ)的有效性,準(zhǔn)確率進(jìn)行驗(yàn)證。
　　 實(shí)驗(yàn)用5折交叉驗(yàn)證法證明算法的有效性；并通過與KNN填補(bǔ)算法進(jìn)行對(duì)比證明該算法在填補(bǔ)準(zhǔn)確率上的優(yōu)越性；通過增加缺失比例及改變提取規(guī)