odi技術(shù)白皮書

1、acleDataIntegrat技術(shù)白皮書第1頁acleDataIntegrat技術(shù)白皮書1介紹22ELT體系結(jié)構(gòu)32.1傳統(tǒng)的ETL32.2ELT43聲明設(shè)計（DECLARATIVEDESIGN）63.1傳統(tǒng)的ETL設(shè)計63.2聲明設(shè)計（DeclarativeDesign）64知識模塊（KNOWLEDGEMODULES）94.1知識模塊的類型94.2設(shè)計階段和運行階段的知識模塊94.3靈活性和可擴展性105面向事件的集成115.1面向

2、消息的集成115.2變化數(shù)據(jù)捕獲115.3發(fā)布和訂閱模型125.4處理變化數(shù)據(jù)集的一致性126支持SOA框架146.1數(shù)據(jù)和轉(zhuǎn)換服務(wù)146.2WebServices訪問157數(shù)據(jù)完整性167.1為數(shù)據(jù)完整性聲明規(guī)則167.2在集成過程中的數(shù)據(jù)完整性防火墻177.3強制規(guī)則177.4使用第三方姓名及地址清洗工具188體系結(jié)構(gòu)198.1用戶界面198.2代理208.3存儲庫208.4元數(shù)據(jù)導(dǎo)航器輕量級設(shè)計器219方案（SCENARIOS）2

3、29.1數(shù)據(jù)倉庫和商業(yè)智能229.2面向服務(wù)的集成239.3主數(shù)據(jù)管理2410結(jié)論25acleDataIntegrat技術(shù)白皮書第3頁2ELT體系結(jié)構(gòu)體系結(jié)構(gòu)2.1傳統(tǒng)的傳統(tǒng)的ETL傳統(tǒng)的ETL工具的運行方式是，首先從多種數(shù)據(jù)源抽取數(shù)據(jù)，然后在一個專有的、中間層的ETL引擎轉(zhuǎn)換數(shù)據(jù)，最后裝載轉(zhuǎn)換后的數(shù)據(jù)到數(shù)據(jù)倉庫或集成服務(wù)器中。因此“ETL”不僅僅是個名稱還表現(xiàn)了操作的順序。迄今為止，ETL過程的數(shù)據(jù)轉(zhuǎn)換是計算密集型最大的步驟，并且執(zhí)行

4、的整個過程完全是由專有ETL引擎在專用服務(wù)器上完成的。ETL引擎執(zhí)行數(shù)據(jù)轉(zhuǎn)換（有些時候還要進(jìn)行數(shù)據(jù)質(zhì)量檢查）是基于行級進(jìn)行的，因此，在整個過程中很容易變成瓶頸。另外，數(shù)據(jù)一定要在網(wǎng)絡(luò)移動兩次，一次是數(shù)據(jù)源和ETL服務(wù)器之間，一次是ETL服務(wù)器和目標(biāo)數(shù)據(jù)倉庫之間。因此，如果用戶想要確保參照完整性，例如通過從數(shù)據(jù)倉庫比較數(shù)據(jù)發(fā)現(xiàn)違反參照完整性的值，那被參照的數(shù)據(jù)一定要從目標(biāo)下載到ETL服務(wù)器，這樣就更增加了網(wǎng)絡(luò)負(fù)載及下載時間并導(dǎo)致額外的性能

5、問題。例如，讓我們看一下傳統(tǒng)的ETL任務(wù)如何從目標(biāo)數(shù)據(jù)倉庫尋找記錄去匹配數(shù)據(jù)源的數(shù)據(jù)。為了執(zhí)行這樣一個任務(wù)，一個傳統(tǒng)的ETL工具可能會使用下列三個方法之一：?裝載Lookup表到內(nèi)存：整個lookup表被從目標(biāo)服務(wù)器上檢索并被裝載到ETL引擎的內(nèi)存中。在作為結(jié)果的被轉(zhuǎn)換的數(shù)據(jù)寫回目標(biāo)服務(wù)器之前，用源數(shù)據(jù)記錄匹配（或連接）這個lookup數(shù)據(jù)是在內(nèi)存中完成的。如果lookup表是相當(dāng)大的，那么這個操作將需要在ETL引擎中耗費大量的內(nèi)存和長

6、時間的數(shù)據(jù)裝載，以及重建索引。?即時執(zhí)行，逐行查找：對于每一行，ETL引擎都要送一個查詢到位于目標(biāo)服務(wù)器上的lookup表。查詢的結(jié)果將返回一行已匹配（或已連接）當(dāng)前行的記錄。如果lookup表包含50萬行記錄，ETL引擎將送50萬個查詢。這種處理方式將極大地減慢數(shù)據(jù)集成的進(jìn)度并給目標(biāo)服務(wù)器帶來嚴(yán)重的負(fù)載。?在ETL任務(wù)中使用手工編碼：這種方式使用ETL引擎僅僅是為了裝載數(shù)據(jù)源到目標(biāo)數(shù)據(jù)庫，然后手工編寫SQL代碼將這些數(shù)據(jù)與lookup