構(gòu)件化數(shù)據(jù)清洗框架的研究與應(yīng)用.pdf

1、大規(guī)模、跨領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)，使數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量日益增多，數(shù)據(jù)模式日趨復(fù)雜，清洗過程設(shè)計(jì)更加繁瑣。這些變化使數(shù)據(jù)清洗軟件的開發(fā)出現(xiàn)了很多新的需求，如動(dòng)態(tài)構(gòu)建、頻繁的修改以及更多的用戶交互等。因此，如何設(shè)計(jì)能夠可重用的數(shù)據(jù)清洗過程以滿足數(shù)據(jù)清洗軟件新的需求，成為數(shù)據(jù)清洗軟件設(shè)計(jì)和開發(fā)人員的新挑戰(zhàn)。
　　 為解決上述問題，本文深入地研究了數(shù)據(jù)清洗的邏輯模型以及構(gòu)件化物理實(shí)現(xiàn)，完成了如下兩部分工作：
　　 一是提出數(shù)據(jù)清洗過

2、流程模型DCPM(Data Cleansing Process Model)，并證明基于該模型使用工作流網(wǎng)建模技術(shù)對(duì)數(shù)據(jù)清洗過程進(jìn)行建模的可行性。這使得設(shè)計(jì)數(shù)據(jù)清洗過程可以遵照統(tǒng)一的模型，并使用成熟的建模技術(shù)進(jìn)行建模。該模型描述了數(shù)據(jù)清洗流程中內(nèi)部各個(gè)元素，元素之間的關(guān)系和元素的屬性。通過使用統(tǒng)一的模型對(duì)數(shù)據(jù)清洗流程進(jìn)行建模，顯著地提高了清洗流程的可復(fù)用性。
　　 二是分析了目前開發(fā)數(shù)據(jù)清洗軟件所出現(xiàn)的新需求和已有的開發(fā)手段的不

3、足，提出并實(shí)現(xiàn)了基于構(gòu)件的數(shù)據(jù)清洗框架C+ADC(Component——extended Agile Data Cleaning)，包括運(yùn)行時(shí)平臺(tái)和框架服務(wù)構(gòu)件集。基于該框架，能夠輕松、靈活地構(gòu)建基于擴(kuò)展構(gòu)件的數(shù)據(jù)清洗應(yīng)用，顯著地降低開發(fā)成本和周期。定義了集成與該框架的構(gòu)件模型和數(shù)據(jù)清洗流程業(yè)務(wù)空間向構(gòu)件空間映射策略，以更好地實(shí)現(xiàn)數(shù)據(jù)清洗應(yīng)用。
　　 實(shí)際的開發(fā)案例證明：使用DCPM模型建模數(shù)據(jù)清洗流程并基于C+ADC框架進(jìn)行數(shù)