關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)清理技術(shù)研究.pdf

1、在當(dāng)今世界，企業(yè)信息化的要求越來(lái)越迫切，其中一個(gè)重要的方面就是企業(yè)的數(shù)據(jù)的管理。根據(jù)“進(jìn)去的是垃圾，出來(lái)的也是垃圾”這條原理，為了支持正確決策，就要求所管理的數(shù)據(jù)可靠，沒(méi)有錯(cuò)誤，能準(zhǔn)確地反映企業(yè)的實(shí)際情況，因此企業(yè)數(shù)據(jù)質(zhì)量的管理正在獲得越來(lái)越多的關(guān)注。 在現(xiàn)實(shí)中，數(shù)據(jù)一般都存在各種各樣數(shù)據(jù)質(zhì)量問(wèn)題，含有各種類型臟數(shù)據(jù)。數(shù)據(jù)清理是提高數(shù)據(jù)質(zhì)量的重要途徑。針對(duì)這一課題，論文包括如下幾個(gè)方面的研究工作： ·相似重復(fù)記錄清理對(duì)于

2、相似重復(fù)記錄的清理，本文著重從重復(fù)記錄識(shí)別和相似記錄檢測(cè)兩方面進(jìn)行了研究。重復(fù)記錄識(shí)別本文主要研究了基本鄰近排序方法和優(yōu)先隊(duì)列算法；相似記錄匹配本文分析了幾種核心的字段匹配算法，針對(duì)字段值的特點(diǎn)采用基于編輯距離的字段匹配算法，同時(shí)設(shè)計(jì)了利用有效權(quán)值和長(zhǎng)度過(guò)濾的優(yōu)化算法進(jìn)行記錄匹配，減少相似重復(fù)記錄的檢測(cè)時(shí)間，提高算法的效率。 ·空缺數(shù)據(jù)清理對(duì)于空缺數(shù)據(jù)的清理，本文設(shè)計(jì)了一種清理方案。首先分析數(shù)據(jù)的可用性；然后刪除不可用記錄；最后

3、，對(duì)可用記錄通過(guò)選用填充空缺值的方法來(lái)處理該記錄的空缺數(shù)據(jù)，從而完成數(shù)據(jù)源中空缺數(shù)據(jù)的清理。本文著重分析了判定樹歸納的方法來(lái)處理空缺數(shù)據(jù)，并對(duì)判定樹歸納法進(jìn)行了變形。實(shí)驗(yàn)證明，判定樹歸納變形算法速度快精度也較高。 ·錯(cuò)誤數(shù)據(jù)清理針對(duì)數(shù)據(jù)源中出現(xiàn)的錯(cuò)誤數(shù)據(jù)，研究了如何采用業(yè)務(wù)規(guī)則這種方法來(lái)檢測(cè)錯(cuò)誤數(shù)據(jù)的重要性，并設(shè)計(jì)了將數(shù)據(jù)分類與平滑結(jié)合的算法去除噪聲。這種算法既能對(duì)數(shù)據(jù)進(jìn)行平滑，減少孤立點(diǎn)出現(xiàn)的可能，又不會(huì)出現(xiàn)因?yàn)檫M(jìn)行平滑而改變