基于CMW的ETL在數(shù)據(jù)中心中的應(yīng)用研究.pdf

1、隨著數(shù)據(jù)倉庫應(yīng)用的不斷推廣，構(gòu)建數(shù)據(jù)倉庫的各種工具也不斷涌現(xiàn)出來。為了支持整個數(shù)據(jù)倉庫環(huán)境中各部分之間的無縫集成，這些工具需要彼此協(xié)作，使數(shù)據(jù)流能在各個工作環(huán)節(jié)中暢通流動。同時盡量保證信息的完整性和正確性，為此，數(shù)據(jù)倉庫中的元數(shù)據(jù)必須有統(tǒng)一良好的定義。
　　 ETL在數(shù)據(jù)倉庫和商業(yè)智能中都是重要的組成部分，而且ETL的開發(fā)在整個數(shù)據(jù)倉庫項目開發(fā)周期中也是比較耗時的部分。在數(shù)據(jù)倉庫開發(fā)過程中，開發(fā)人員通常更關(guān)注業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)

2、據(jù)，卻忽視了ETL元數(shù)據(jù)的管理，導(dǎo)致ETL開發(fā)周期的延長。目前，元數(shù)據(jù)管理結(jié)構(gòu)有兩種:一種是集中式的元數(shù)據(jù)管理結(jié)構(gòu)，即整個系統(tǒng)只有一個元數(shù)據(jù)倉儲，所有工具和數(shù)據(jù)倉庫直接從這個中心元數(shù)據(jù)倉儲中獲取元數(shù)據(jù)信息，這種結(jié)構(gòu)只適合于中小規(guī)模的企業(yè)。對于大型企業(yè)中數(shù)據(jù)環(huán)境較為復(fù)雜的應(yīng)用場景，集中管理幾乎不可能。另一種是分散式的元數(shù)據(jù)管理結(jié)構(gòu)，這種結(jié)構(gòu)建立了若干個分布的、相對自治的元數(shù)據(jù)倉儲，分別處理某個單一領(lǐng)域的元數(shù)據(jù)，而全局元數(shù)據(jù)則由元數(shù)據(jù)管理系

3、統(tǒng)來管理。這種分散式結(jié)構(gòu)雖然分散管理元數(shù)據(jù)，但在共享元數(shù)據(jù)部分由于要從不同元數(shù)據(jù)庫中得到元數(shù)據(jù)，并且不同的元數(shù)據(jù)庫有可能使用不同的元數(shù)據(jù)定義形式，所以仍然要解決元數(shù)據(jù)異構(gòu)的問題。而且這些分布的、自治的元數(shù)據(jù)庫間的集成不可避免地要用到元數(shù)據(jù)交換協(xié)議，因此也延長了開發(fā)周期。
　　 公共倉庫元模型(CWM)是一種基于UML設(shè)計的，用于建立公共倉庫的元模型，并且是面向?qū)ο蟮哪Ｐ?。本文對CWM進(jìn)行了深入研究，運用該模型對ETL元數(shù)據(jù)建模，

4、將對象模型映射到關(guān)系模型，并建立相應(yīng)的元數(shù)據(jù)庫，最后將設(shè)計的元數(shù)據(jù)庫應(yīng)用到浦東數(shù)據(jù)中心數(shù)據(jù)管理子系統(tǒng)。通過對ETL元數(shù)據(jù)的有效管理，可以更加直觀地將ETL數(shù)據(jù)源、轉(zhuǎn)換規(guī)則以及映射關(guān)系反映給ETL工程師，便于ETL的開發(fā)和ETL元數(shù)據(jù)的維護(hù)。
　　 文章首先介紹了元數(shù)據(jù)、ETL和ETL元數(shù)據(jù)等相關(guān)概念，深入研究了CWM模型的整體架構(gòu)、設(shè)計原則、各組成包的功能以及包之間的關(guān)系，重點分析了CWM中與ETL相關(guān)的包。然后，利用CWM中的