高效ETL新方法的研究及基于SQL和元數(shù)據(jù)的ETL引擎的實現(xiàn).pdf

1、隨著互連網(wǎng)和數(shù)據(jù)庫技術的不斷發(fā)展，經(jīng)濟全球化帶來的企業(yè)競爭不斷加劇，越來越多的企業(yè)想構建自己的數(shù)據(jù)倉庫系統(tǒng)，對企業(yè)大量分散和異構的數(shù)據(jù)進行整合，期望從中獲得更多有用的信息，來提升企業(yè)的競爭力。數(shù)據(jù)倉庫系統(tǒng)的基本功能應包括數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)訪問三個關鍵部分。把不同來源、格式、特點的數(shù)據(jù)在邏輯上或物理上有機地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享，這就是數(shù)據(jù)集成的概念。數(shù)據(jù)集成研究中最重要的就是對ETL方法的研究。 本研究的重點是

2、ETL的實現(xiàn)方法?，F(xiàn)有的ETL方法主要是通過中央引擎來處理數(shù)據(jù)，這種方式造成性能上的瓶頸，增加網(wǎng)絡的負荷，并且不具有良好的可伸縮性和可擴展性。同時現(xiàn)有的ETL工具也不適合大量ETL業(yè)務規(guī)則的開發(fā)。如何實現(xiàn)高效的ETL引擎是本文研究的重點。 目前企業(yè)數(shù)據(jù)環(huán)境是以關系型數(shù)據(jù)庫和數(shù)據(jù)倉庫為主，而且數(shù)據(jù)庫系統(tǒng)的功能逐漸強大，數(shù)據(jù)庫系統(tǒng)本身就可以完成很多數(shù)據(jù)集成過程。因此，本研究利用了現(xiàn)有的數(shù)據(jù)庫技術，在關系型數(shù)據(jù)倉庫的基礎上，提出了一種

3、實現(xiàn)ETL過程的新方法——E-LT方法。E-LT方法和傳統(tǒng)的E-T-L方法的區(qū)別在于轉換(T)與裝載(L)并沒有嚴格的順序，轉換在裝載之前、之后或同時進行均可。該方法使用純粹的SQL語句來完成ETL過程，不需要其它編程語言的介入，ETL工具的作用由原來的數(shù)據(jù)處理轉為自動的SQL腳本生成。同時，本文提出ETL工具是元數(shù)據(jù)驅動的，以提供更好的柔性機制、擴展能力和可操作性。本文的研究還實現(xiàn)了一個元數(shù)據(jù)驅動的E-LT引擎，并且應用到國家海洋環(huán)境