數(shù)據(jù)約簡(jiǎn)效果的評(píng)價(jià)方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,出現(xiàn)了大量的海量數(shù)據(jù)。為了降低處理海量數(shù)據(jù)所消耗的時(shí)間和存儲(chǔ)海量數(shù)據(jù)需要的空間,對(duì)海量數(shù)據(jù)進(jìn)行數(shù)據(jù)分析前,需要先對(duì)其進(jìn)行數(shù)據(jù)約簡(jiǎn)。數(shù)據(jù)約簡(jiǎn)效果的好壞直接關(guān)系著后續(xù)的數(shù)據(jù)分析的正確與否。因此,探索行之有效的數(shù)據(jù)約簡(jiǎn)效果評(píng)價(jià)方法,對(duì)海量數(shù)據(jù)處理有著重要的理論意義和現(xiàn)實(shí)意義。
　　考慮到數(shù)據(jù)集中實(shí)例的變化和特征的變化會(huì)影響數(shù)據(jù)集的分類效果,綜合了類半徑、類間距和類實(shí)例數(shù)對(duì)分類精度的影響,分別給出了二分類數(shù)據(jù)集和

2、多分類數(shù)據(jù)集的新宏觀F1值計(jì)算公式,提出了一種基于分類的數(shù)據(jù)約簡(jiǎn)效果評(píng)價(jià)方法。該類方法適用于分類明顯的數(shù)據(jù)集。
　　從基于實(shí)例選擇的數(shù)據(jù)約簡(jiǎn)的兩個(gè)方面:數(shù)據(jù)編輯和數(shù)據(jù)壓縮入手,分析了數(shù)據(jù)約簡(jiǎn)對(duì)相似性的影響。通過(guò)對(duì)數(shù)據(jù)集間的距離、數(shù)據(jù)集的分位數(shù)和數(shù)據(jù)集中實(shí)例的頻數(shù)分布等三個(gè)統(tǒng)計(jì)特征的分析,提出了三種基于相似性的數(shù)據(jù)約簡(jiǎn)效果評(píng)價(jià)方法,分別是基于馬氏距離、基于QQPlot圖和基于統(tǒng)計(jì)直方圖的方法。該類方法具有普適性,適用于任何數(shù)據(jù)集。<