基于數(shù)據(jù)映射圖ETL任務(wù)模型的構(gòu)造和管理.pdf

1、ETL(Extraction、Transformation、Loading)過程實(shí)現(xiàn)把數(shù)據(jù)從業(yè)務(wù)系統(tǒng)系統(tǒng)中抽取,轉(zhuǎn)換,裝載數(shù)據(jù)到數(shù)據(jù)倉庫中,完成對(duì)業(yè)務(wù)數(shù)據(jù)對(duì)決策分析的內(nèi)容和結(jié)構(gòu)變化的整個(gè)過程,是任何數(shù)據(jù)倉庫工程不可缺少的成功因素.在傳統(tǒng)的數(shù)據(jù)倉庫建設(shè)中,往往強(qiáng)調(diào)數(shù)據(jù)倉庫本身的建模和前端數(shù)據(jù)展示,而對(duì)ETL的設(shè)計(jì)和建模關(guān)心不足,使ETL過程反復(fù)進(jìn)行,甚至導(dǎo)致項(xiàng)目實(shí)施的失敗.從國(guó)內(nèi)外眾多的實(shí)踐得到普遍的共識(shí)是ETL設(shè)計(jì)與實(shí)施的工作量要占到整

2、個(gè)數(shù)據(jù)倉庫項(xiàng)目時(shí)間的60﹪-80﹪.ETL在數(shù)據(jù)倉庫建設(shè)的重要地位越來越得到人們的關(guān)注.在本文,我們?cè)敿?xì)描述了ETL過程的任務(wù)活動(dòng)的組成部分.本文提出一種新的基于數(shù)據(jù)映射圖的ETL任務(wù)設(shè)計(jì)方法.在數(shù)據(jù)倉庫的早期設(shè)計(jì)階段,用數(shù)據(jù)映射圖來表達(dá)ETL任務(wù)模型,深入描述ETL任務(wù)中內(nèi)部數(shù)據(jù)源與目標(biāo)間屬性的映射關(guān)系和對(duì)應(yīng)的轉(zhuǎn)換操作,來構(gòu)造ETL的過程.通過一個(gè)分析主題的ETL任務(wù)實(shí)例,詳細(xì)描述和展示了基于數(shù)據(jù)映射圖的ETL任務(wù)模型的設(shè)計(jì)和建立過程

3、.通過這個(gè)設(shè)計(jì)方法使整個(gè)ETL任務(wù)設(shè)計(jì)過程規(guī)范化,重用化,清晰地指導(dǎo)開發(fā)人員在ETL過程的代碼開發(fā),提高工作效率.同時(shí)本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于數(shù)據(jù)映射圖的ETL任務(wù)模型管理系統(tǒng),用來輔助我們對(duì)ETL任務(wù)模型的設(shè)計(jì),管理和使用.其中集成了繪制數(shù)據(jù)映射圖模塊;定義了的ETL任務(wù)元數(shù)據(jù)模型;并把ETL任務(wù)模型的元數(shù)據(jù)進(jìn)行收集,實(shí)現(xiàn)元數(shù)據(jù)XML模式到關(guān)系模式的轉(zhuǎn)換,存放在元數(shù)據(jù)知識(shí)庫中,為元數(shù)據(jù)消費(fèi)者服務(wù);實(shí)現(xiàn)數(shù)據(jù)來源軌跡的追蹤,有助于設(shè)計(jì)人員