高效ETL新方法的研究及基于SQL和元數(shù)據(jù)的ETL引擎的實(shí)現(xiàn).pdf

1、隨著互連網(wǎng)和數(shù)據(jù)庫(kù)技術(shù)的不斷發(fā)展，經(jīng)濟(jì)全球化帶來(lái)的企業(yè)競(jìng)爭(zhēng)不斷加劇，越來(lái)越多的企業(yè)想構(gòu)建自己的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，對(duì)企業(yè)大量分散和異構(gòu)的數(shù)據(jù)進(jìn)行整合，期望從中獲得更多有用的信息，來(lái)提升企業(yè)的競(jìng)爭(zhēng)力。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基本功能應(yīng)包括數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問(wèn)三個(gè)關(guān)鍵部分。把不同來(lái)源、格式、特點(diǎn)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享，這就是數(shù)據(jù)集成的概念。數(shù)據(jù)集成研究中最重要的就是對(duì)ETL方法的研究。 本研究的重點(diǎn)是

2、ETL的實(shí)現(xiàn)方法?，F(xiàn)有的ETL方法主要是通過(guò)中央引擎來(lái)處理數(shù)據(jù)，這種方式造成性能上的瓶頸，增加網(wǎng)絡(luò)的負(fù)荷，并且不具有良好的可伸縮性和可擴(kuò)展性。同時(shí)現(xiàn)有的ETL工具也不適合大量ETL業(yè)務(wù)規(guī)則的開(kāi)發(fā)。如何實(shí)現(xiàn)高效的ETL引擎是本文研究的重點(diǎn)。 目前企業(yè)數(shù)據(jù)環(huán)境是以關(guān)系型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)為主，而且數(shù)據(jù)庫(kù)系統(tǒng)的功能逐漸強(qiáng)大，數(shù)據(jù)庫(kù)系統(tǒng)本身就可以完成很多數(shù)據(jù)集成過(guò)程。因此，本研究利用了現(xiàn)有的數(shù)據(jù)庫(kù)技術(shù)，在關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上，提出了一種

3、實(shí)現(xiàn)ETL過(guò)程的新方法——E-LT方法。E-LT方法和傳統(tǒng)的E-T-L方法的區(qū)別在于轉(zhuǎn)換(T)與裝載(L)并沒(méi)有嚴(yán)格的順序，轉(zhuǎn)換在裝載之前、之后或同時(shí)進(jìn)行均可。該方法使用純粹的SQL語(yǔ)句來(lái)完成ETL過(guò)程，不需要其它編程語(yǔ)言的介入，ETL工具的作用由原來(lái)的數(shù)據(jù)處理轉(zhuǎn)為自動(dòng)的SQL腳本生成。同時(shí)，本文提出ETL工具是元數(shù)據(jù)驅(qū)動(dòng)的，以提供更好的柔性機(jī)制、擴(kuò)展能力和可操作性。本文的研究還實(shí)現(xiàn)了一個(gè)元數(shù)據(jù)驅(qū)動(dòng)的E-LT引擎，并且應(yīng)用到國(guó)家海洋環(huán)境