數(shù)據(jù)清洗技術(shù)的研究及其應(yīng)用.pdf

1、在為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)準(zhǔn)備數(shù)據(jù)時(shí)，常常面臨一系列的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量問(wèn)題常常是由于數(shù)據(jù)在輸入、獲得、集成及傳輸過(guò)程中不可避免的會(huì)出現(xiàn)錯(cuò)誤，例如數(shù)據(jù)格式不統(tǒng)一或者拼寫(xiě)錯(cuò)誤等等。而數(shù)據(jù)清洗的目標(biāo)正是將這些數(shù)據(jù)經(jīng)過(guò)一系列轉(zhuǎn)化使其達(dá)到數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)。本文主要研究了數(shù)據(jù)清洗的相關(guān)技術(shù)及其在數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)準(zhǔn)備過(guò)程中的具體應(yīng)用。　　本文首先論述了數(shù)據(jù)質(zhì)量的相關(guān)理論及其定義，進(jìn)而分析了進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前進(jìn)行數(shù)據(jù)清洗的必要性以及主要的數(shù)據(jù)清洗過(guò)程，同時(shí)闡述了

2、當(dāng)前數(shù)據(jù)清洗的各種理論框架及其應(yīng)用的發(fā)展現(xiàn)狀。然后，針對(duì)已有系統(tǒng)的不足，提出了一個(gè)數(shù)據(jù)清洗的框架模型及其部分實(shí)現(xiàn)?！　”疚牡闹攸c(diǎn)是對(duì)可擴(kuò)展可定制數(shù)據(jù)清洗框架的研究與設(shè)計(jì)。此框架集數(shù)據(jù)清洗/遷移為一體，使用基于XML的過(guò)程描述語(yǔ)言對(duì)每個(gè)清洗過(guò)程進(jìn)行定義，并利用元數(shù)據(jù)管理中心對(duì)清洗所需要的所有元數(shù)據(jù)進(jìn)行統(tǒng)一存取。同時(shí)使用JAVA與XML進(jìn)行開(kāi)發(fā)，大大提高了其跨平臺(tái)運(yùn)行的能力，并可作為組件方便地集成到其他應(yīng)用系統(tǒng)中去以實(shí)現(xiàn)數(shù)據(jù)清洗功能。文章