ETL關(guān)鍵技術(shù)研究.pdf

1、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集成應(yīng)用都需要使用ETL工具，要求ETL工具能支持多種數(shù)據(jù)轉(zhuǎn)換源和目標(biāo)、軟件易于部署和使用以及轉(zhuǎn)換手段多樣化。市場(chǎng)上現(xiàn)有的ETL工具都不能完全滿足數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集成要求。 本文結(jié)合對(duì)自行研制的ETL工具——SEUETL的改進(jìn)和技術(shù)預(yù)研，研究了ETL工具實(shí)現(xiàn)的關(guān)鍵技術(shù)。針對(duì)SEUETL工具的不足，我們使用了CWM來(lái)描述ETL過(guò)程。構(gòu)建了統(tǒng)一數(shù)據(jù)模型描述物理數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)模型，屏蔽不同數(shù)據(jù)模型中描述的差異；構(gòu)

2、建了轉(zhuǎn)換元模型來(lái)描述ETL轉(zhuǎn)換的邏輯過(guò)程，屏蔽ETL轉(zhuǎn)換具體實(shí)現(xiàn)的差異；構(gòu)建了運(yùn)行調(diào)度元模型，描述ETL過(guò)程的運(yùn)行實(shí)現(xiàn)，屏蔽不同軟件部署方式的差異。在元數(shù)據(jù)管理中，引入了動(dòng)態(tài)屬性概念，提高了ETL過(guò)程設(shè)計(jì)的靈活性和設(shè)計(jì)效率，較好的解決了遺留系統(tǒng)的業(yè)務(wù)數(shù)據(jù)處理。在ETL轉(zhuǎn)換中引入了腳本轉(zhuǎn)換，并對(duì)SQL進(jìn)行了擴(kuò)展以適合ETL的需要，實(shí)現(xiàn)了對(duì)UDF的支持，增加了可使用的轉(zhuǎn)換手段。實(shí)現(xiàn)了和數(shù)據(jù)轉(zhuǎn)換相融合的數(shù)據(jù)清洗框架，定義的數(shù)據(jù)清洗規(guī)則可以自動(dòng)