基于ETL的數(shù)據(jù)管理方法的分析和實現(xiàn).pdf

1、隨著計算機網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)的飛速發(fā)展以及人們獲取數(shù)據(jù)手段的多樣化，各種數(shù)據(jù)資源日益豐富數(shù)據(jù)量急劇增加，大學(xué)作為社會大家庭的一個重要成員，信息化和網(wǎng)絡(luò)化程度也隨之發(fā)生了巨大變化，許多部門在不同程度上依靠計算機軟件來輔助完成工作，通過使用這些軟件提高了業(yè)務(wù)處理能力和辦公效率。 但是日益增多的、不同種類的信息數(shù)據(jù)也給數(shù)據(jù)庫管理帶來了很多的問題，主要表現(xiàn)在數(shù)據(jù)清洗和數(shù)據(jù)復(fù)制兩大方面，比如怎么樣糾正數(shù)據(jù)錯誤、避免錯誤決策、降低決策風(fēng)險?怎

2、么樣能夠使各部門之間的信息既能靈活交流和共享，又能統(tǒng)一管理和使用?目前主要的方法是對這些數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)的同步復(fù)制。通過清洗使我們得到的元數(shù)據(jù)是可信的、安全的、一致的，然后把這些清洗后的數(shù)據(jù)通過數(shù)據(jù)同步復(fù)制工具灌入公共數(shù)據(jù)庫中去，從而使學(xué)校的各個部門能夠共享數(shù)據(jù)資源。 本文介紹了基于ETL(Extract，Transfer，Load)的數(shù)據(jù)清洗和數(shù)據(jù)復(fù)制的原理，并在實際工作中加以應(yīng)用，主要工作如下： (1)介紹現(xiàn)階

3、段國內(nèi)外數(shù)據(jù)復(fù)制和數(shù)據(jù)清洗的主要技術(shù)及其應(yīng)用； (2)指出大學(xué)各個部門之間的數(shù)據(jù)源、數(shù)據(jù)質(zhì)量和數(shù)據(jù)的一致性方面存在的問題； (3)分析數(shù)據(jù)存在的質(zhì)量問題并設(shè)計清洗策略和復(fù)制策略； (4)闡述如何運用數(shù)據(jù)清洗和同步復(fù)制工具Oracle Data Integrator(簡稱ODI)把來自各個不同數(shù)據(jù)源的數(shù)據(jù)抽取出來，按照預(yù)定的規(guī)則清洗，然后轉(zhuǎn)移，復(fù)制加載到目標(biāo)數(shù)據(jù)庫(即公共數(shù)據(jù)庫)中去，以達(dá)到數(shù)據(jù)資源共享的目的。