ETL的優(yōu)化設(shè)計.pdf

1、數(shù)字化網(wǎng)絡(luò)系統(tǒng)作為一種信息共享平臺被應(yīng)用到信息化建設(shè)中，數(shù)據(jù)信息的日益復(fù)雜和管理對象的繁多也越來越成為信息管理所面臨的一個問題，ETL（Extraction-Transformation-Loading）的引入為共享平臺提供了一個統(tǒng)一的接口，方便了對數(shù)據(jù)的操作和管理。一個良好的ETL處理過程可以很好的為數(shù)字化網(wǎng)絡(luò)系統(tǒng)服務(wù)，目前的大部分ETL技術(shù)工具在處理少量數(shù)據(jù)時效率比較好，但是在處理海量數(shù)據(jù)的時候，經(jīng)常會花費大量時間，在整個數(shù)據(jù)處理過

2、程中還時常發(fā)生假死現(xiàn)象，因此在效率和可靠性方面還有待提高。
　　本文主要針對ETL的設(shè)計進行了分析和對該處理過程的優(yōu)化進行了研究。通過對ETL操作的各個過程進行了分析，并做出了效率提高，尤其是在數(shù)據(jù)轉(zhuǎn)換這個關(guān)鍵階段加入了臨時數(shù)據(jù)庫作為緩沖池，并且對數(shù)據(jù)進行批量提取，減少了外存向內(nèi)存寫入數(shù)據(jù)的時間開銷，在多花費少量空間的情況下提高了效率，節(jié)約了大量的時間。
　　經(jīng)過大量數(shù)據(jù)的測試比較，優(yōu)化的ETL流程方案在時間花費比傳統(tǒng)的ET