面向數(shù)據(jù)集成的數(shù)據(jù)質(zhì)量控制系統(tǒng)設(shè)計與實現(xiàn).pdf

1、數(shù)據(jù)集成技術(shù)為企業(yè)解決跨多平臺，異構(gòu)數(shù)據(jù)的集成問題提供了一條解決途徑。數(shù)據(jù)集成系統(tǒng)可以把企業(yè)內(nèi)部的各種相關(guān)數(shù)據(jù)資源進(jìn)行集成、共享，為消除信息孤島，也為企業(yè)的信息資源規(guī)劃提供了可能。數(shù)據(jù)集成過程是一個從分布的數(shù)據(jù)源(包括數(shù)據(jù)庫、應(yīng)用系統(tǒng)等)抽取數(shù)據(jù)，進(jìn)行轉(zhuǎn)換、集成和傳輸，以目標(biāo)系統(tǒng)希望的數(shù)據(jù)形式加載到目標(biāo)系統(tǒng)中的過程。在此過程中，數(shù)據(jù)質(zhì)量控制是一個至關(guān)重要的基本組件和功能，它對“臟”數(shù)據(jù)進(jìn)行屏蔽，防止“臟”數(shù)據(jù)進(jìn)入目標(biāo)系統(tǒng)，同時負(fù)責(zé)解決數(shù)

2、據(jù)源之間模式關(guān)聯(lián)和映射問題。在實際的數(shù)據(jù)集成過程中如果缺少對數(shù)據(jù)質(zhì)量的有效控制，常常會導(dǎo)致集成過程的失敗。 “如何根據(jù)數(shù)據(jù)集成的特點，設(shè)計面向數(shù)據(jù)集成的數(shù)據(jù)質(zhì)量控制系統(tǒng)，減少數(shù)據(jù)集成中的數(shù)據(jù)質(zhì)量問題”是論文研究的重點。 論文首先從數(shù)據(jù)集成過程的特點出發(fā)，討論了數(shù)據(jù)集成過程中數(shù)據(jù)質(zhì)量控制的特點和難點，確立了本論文關(guān)于數(shù)據(jù)集成中數(shù)據(jù)質(zhì)量控制的研究方向，即：分別從模式集成和實例數(shù)據(jù)清洗兩個方面進(jìn)行數(shù)據(jù)質(zhì)量控制問題研究。

3、 論文分別在模式集成和實例數(shù)據(jù)清洗兩個層面提出了自動化和基于規(guī)則相結(jié)合的數(shù)據(jù)質(zhì)量控制策略。在模式集成的研究中，論文提出了一種模式自動匹配算法用來輔助進(jìn)行模式集成，并將模式轉(zhuǎn)換和模式?jīng)_突檢測結(jié)合到模式集成過程中。在實例數(shù)據(jù)清洗研究中，提出基于統(tǒng)計分析的異常數(shù)據(jù)自動檢測方法。同時，提出了一種針對中文的相似重復(fù)記錄的檢測算法，能夠有效地檢測多語言的相似重復(fù)記錄。在上述研究基礎(chǔ)上，論文提出了基于規(guī)則的數(shù)據(jù)質(zhì)量控制策略，通過用戶自定義的模式集成規(guī)