基于模型驅(qū)動(dòng)的數(shù)據(jù)清洗平臺的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的迅猛發(fā)展，各種形式的數(shù)據(jù)也呈現(xiàn)出爆炸式的增長，數(shù)據(jù)的質(zhì)量開始受到越來越多人的重視，尤其是在面對海量數(shù)據(jù)不斷涌現(xiàn)的情況下，如何快速的抽取、轉(zhuǎn)換、加載各種異構(gòu)數(shù)據(jù)，如何有效的管理數(shù)據(jù)清洗業(yè)務(wù)，如何迅速的適應(yīng)數(shù)據(jù)清洗需求的不斷變化，就成為了目前數(shù)據(jù)清洗領(lǐng)域研究的重點(diǎn)，因?yàn)閭鹘y(tǒng)的數(shù)據(jù)清洗方式和工具由于針對性強(qiáng)、運(yùn)行效率低、開發(fā)成本高、缺乏統(tǒng)一的流程管理等，已經(jīng)難以在現(xiàn)在的情況下發(fā)揮應(yīng)有的效果，也就無法進(jìn)行高效、準(zhǔn)確的數(shù)據(jù)清洗過程。

2、
　　本文正是針對上述問題，對已有的數(shù)據(jù)清洗方式和工具進(jìn)行了探討和比較，以模型驅(qū)動(dòng)方法在數(shù)據(jù)清洗領(lǐng)域中的應(yīng)用為主要研究對象，在深入分析工作流與數(shù)據(jù)清洗建模過程的基礎(chǔ)上，對基于模型驅(qū)動(dòng)的數(shù)據(jù)清洗平臺進(jìn)行了詳盡的設(shè)計(jì)和實(shí)現(xiàn)，主要內(nèi)容為：
　　1．研究了數(shù)據(jù)清洗的一般流程，將數(shù)據(jù)清洗的過程進(jìn)行形式化定義，采用四層元模型架構(gòu)對數(shù)據(jù)清洗流程進(jìn)行建模，提出了基于模型驅(qū)動(dòng)的數(shù)據(jù)清洗模型及建模方法，闡述了數(shù)據(jù)清洗領(lǐng)域元數(shù)據(jù)的含義和功能。

3、r>　　2．研究了模型驅(qū)動(dòng)的基本原理和特征，結(jié)合工作流技術(shù)對數(shù)據(jù)清洗過程進(jìn)行了分解，剝離出共同的數(shù)據(jù)抽象業(yè)務(wù)，并逐一提出了元數(shù)據(jù)描述方案和數(shù)據(jù)清洗狀態(tài)之間的轉(zhuǎn)換；研究了如何利用模型屏蔽數(shù)據(jù)源的異構(gòu)，從而為解決支持不同數(shù)據(jù)源同時(shí)進(jìn)行數(shù)據(jù)清洗提供了方法。
　　3．設(shè)計(jì)并實(shí)現(xiàn)了由客戶端設(shè)計(jì)器、執(zhí)行引擎和監(jiān)控端組成的基于模型驅(qū)動(dòng)的數(shù)據(jù)清洗平臺。其中，客戶端設(shè)計(jì)器為用戶提供了可視化的操作界面，用于設(shè)計(jì)數(shù)據(jù)清洗流程，通過組件模型和工作流完成數(shù)