基于數(shù)據(jù)倉庫的ETL優(yōu)化與實現(xiàn).pdf

1、數(shù)據(jù)倉庫為企業(yè)的決策支持提供強有力的依據(jù)，而ETL(Extraction、Transformation、Loading)過程是構(gòu)建一個高數(shù)據(jù)質(zhì)量數(shù)據(jù)倉庫最重要的組成部分。它需要處理海量數(shù)據(jù)，及時刷新數(shù)據(jù)倉庫的數(shù)據(jù)，如何快速處理海量數(shù)據(jù)并且得到高質(zhì)量數(shù)據(jù)是一個非常值得研究的問題。ETL工具在商業(yè)領域應用廣泛，且開發(fā)的效率比較高。但是運行效率卻不盡如人意，而且在實現(xiàn)ETL之前并沒有專門去設計ETL工作流。
　　為了提高ETL的執(zhí)行速度

2、，優(yōu)化項目中的ETL，本文采用ETL狀態(tài)空間搜索的方式來優(yōu)化ETL，即將ETL看成一個狀態(tài)，它的所有等價狀態(tài)即為狀態(tài)空間，從狀態(tài)空間中搜索得到一個最優(yōu)的ETL工作流。首先針對項目具體問題，設計了UML類圖，提出了基于前接節(jié)點的模式產(chǎn)生算法，研究分析了狀態(tài)轉(zhuǎn)換的條件，采用線性回歸分析方法預測狀態(tài)執(zhí)行時間，使用JAVA語言實現(xiàn)了UML類圖、相關的轉(zhuǎn)換算法。并對比分析了常規(guī)模式產(chǎn)生和基于前接節(jié)點的模式產(chǎn)生算法的性能、窮舉搜索算法和啟發(fā)式搜索算