基于Spring框架的ETL工具的研究與實(shí)現(xiàn).pdf

1、ETL(Extraction-Transformation-Loading)是從多個(gè)業(yè)務(wù)數(shù)據(jù)源中抽取數(shù)據(jù)，并依據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，最終載入目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。是數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的主要過(guò)程。本文研究了ETL過(guò)程的關(guān)鍵理論問(wèn)題，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于元數(shù)據(jù)模型的引擎式ETL工具JETL。 本文從DWQ模型中抽象出JETL基于元數(shù)據(jù)庫(kù)的理論模型。在JETL的設(shè)計(jì)上，采用了元數(shù)據(jù)上下文驅(qū)動(dòng)數(shù)據(jù)轉(zhuǎn)換引擎的模式。JETL的實(shí)現(xiàn)基于輕量

2、級(jí)J2EE框架Spring，該框架很好的滿足了JETL引擎式的設(shè)計(jì)。本文利用Spring的IoC技術(shù)，解決了ETL過(guò)程中的數(shù)據(jù)源統(tǒng)一，轉(zhuǎn)換引擎驅(qū)動(dòng)和工作流調(diào)度問(wèn)題;利用Spring對(duì)DAO模式的良好支持實(shí)現(xiàn)了JETL的持久層；利用Spring強(qiáng)大的XML bean配置方式實(shí)現(xiàn)了ETL過(guò)程的元數(shù)據(jù)管理。 本文還討論了JETL在某商業(yè)銀行綜合報(bào)表與決策支持系統(tǒng)中的應(yīng)用，并基于應(yīng)用實(shí)踐提出了JETL的過(guò)程管理方法論。最后基于理論研究和