數(shù)據(jù)質(zhì)量分析方法及其在銀行系統(tǒng)中的應(yīng)用.pdf

1、數(shù)據(jù)倉庫的架構(gòu)大體可以分為三部分:后臺是數(shù)據(jù)存儲和計(jì)算引擎,前端是數(shù)據(jù)展現(xiàn)分析的用戶界面,還有一個重要的部分就是ETL.ETL所完成的工作主要包括三方面:首先,在數(shù)據(jù)倉庫和業(yè)務(wù)系統(tǒng)之間搭建起一座橋梁,確保新的業(yè)務(wù)數(shù)據(jù)源源不斷地進(jìn)入數(shù)據(jù)倉庫;其次,用戶的分析和應(yīng)用也能反映出最新的業(yè)務(wù)動態(tài),雖然ETL在數(shù)據(jù)倉庫架構(gòu)的三部分中技術(shù)含量并不算高,但其涉及到大量的業(yè)務(wù)邏輯和異構(gòu)環(huán)境,因此在一般的數(shù)據(jù)倉庫項(xiàng)目中ETL部分往往也是牽扯精力最多的;第三

2、,如果從整體角度來看,ETL主要作用在于屏蔽了復(fù)雜的業(yè)務(wù)邏輯,從而為各種基于數(shù)據(jù)倉庫的分析和應(yīng)用提供了統(tǒng)一的數(shù)據(jù)接口,這也是構(gòu)建數(shù)據(jù)倉庫最重要的意義所在.ETL的過程分為抽取、轉(zhuǎn)換、裝載三個步驟.數(shù)據(jù)抽取、轉(zhuǎn)換是根據(jù)新舊系統(tǒng)數(shù)據(jù)庫的映射關(guān)系進(jìn)行的,而數(shù)據(jù)差異分析是建立映射關(guān)系的前提,這其中還包括對代碼數(shù)據(jù)的差異分析.轉(zhuǎn)換步驟一般還要包含清洗的過程,數(shù)據(jù)清洗主要是針對源數(shù)據(jù)庫中,對出現(xiàn)二義性、重復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題的數(shù)據(jù)進(jìn)

3、行相應(yīng)的清洗操作.在數(shù)據(jù)清洗之前需要進(jìn)行數(shù)據(jù)質(zhì)量分析,以找出存在問題的數(shù)據(jù),否則數(shù)據(jù)清洗將無從談起.數(shù)據(jù)質(zhì)量分析是ETL過程的一個重要組成部分,數(shù)據(jù)裝載是通過裝載工具或自行編寫的SQL程序?qū)⒊槿?、轉(zhuǎn)換后的結(jié)果數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中.該文詳細(xì)分析了ETL技術(shù)的相關(guān)內(nèi)容,結(jié)合Ascential Datastage研究了ETL技術(shù)在銀行信用系統(tǒng)項(xiàng)目中的應(yīng)用,其中重點(diǎn)研究了數(shù)據(jù)清理方法、數(shù)據(jù)質(zhì)量分析過程和數(shù)據(jù)質(zhì)量分析方法,根據(jù)實(shí)際項(xiàng)目的應(yīng)用提出