中國郵政速遞數(shù)據(jù)倉庫系統(tǒng)ETL的設計與實現(xiàn).pdf

1、隨著中國郵政速遞業(yè)務規(guī)模的擴大，數(shù)據(jù)量隨之急劇增長。在1991-2005年所建的基于數(shù)據(jù)庫的存儲系統(tǒng)已經(jīng)不再適應業(yè)務的發(fā)展。中國郵政速遞面臨著數(shù)據(jù)一致性，信息時效性，數(shù)據(jù)完整性等問題。數(shù)據(jù)倉庫因面向主題，具備集成性、穩(wěn)定性和保存歷史數(shù)據(jù)這些特點，它的建立能為這些問題帶來解決方案。中國郵政速遞采取Teradata數(shù)據(jù)倉庫技術(shù)為其搭建數(shù)據(jù)倉庫，ETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)是實施數(shù)

2、據(jù)倉庫的重要步驟，它按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，負責完成數(shù)據(jù)從數(shù)據(jù)源向目標數(shù)據(jù)倉庫轉(zhuǎn)化的過程。
　　作者基于中國郵政速遞數(shù)據(jù)倉庫建設工程，首先對數(shù)據(jù)倉庫概念，實時數(shù)據(jù)倉庫技術(shù)特點，Teradata數(shù)據(jù)倉庫和Teradata數(shù)據(jù)倉庫實施論進行了介紹。其次對數(shù)據(jù)倉庫三個主要數(shù)據(jù)源進行了分析，根據(jù)業(yè)務，劃分了數(shù)據(jù)倉庫6大主題域，設計了數(shù)據(jù)倉庫核心模型層。之后，根據(jù)業(yè)務需求和模型層的設計，對ETL架構(gòu)進行了整體設計，通過對項目中使

3、用的ETL自動化工具Teradata Automation的抽象，歸納了自動化流程設計，并對ETL框架中的各類作業(yè)進行了設計和命名規(guī)范。然后，根據(jù)ETL的設計，具體實現(xiàn)了數(shù)據(jù)抽取，數(shù)據(jù)加載，加載監(jiān)控，數(shù)據(jù)清洗和校驗，數(shù)據(jù)轉(zhuǎn)換功能，并對作業(yè)進行了測試和優(yōu)化。最后，對系統(tǒng)運行情況和論文進行了總結(jié)，并對郵政速遞數(shù)據(jù)倉庫在模型改進，元數(shù)據(jù)管理，系統(tǒng)性能改善這三方面提出了建議。
　　希望通過本文的工作，能給新行業(yè)數(shù)據(jù)倉庫ETL設計和開發(fā)帶來