ETL執(zhí)行過程的優(yōu)化研究.pdf

1、ETL(Extraction-Transformation-Loading)是構建和維護數據倉庫的基本構件，由于它處理的是海量數據，如何加快響應時間成為值得研究的問題。大多數的ETL商業(yè)工具提供設計和管理ETL工作流的工具，但不采用任何優(yōu)化措施。設計好的ETL工作流交給DBMS執(zhí)行，由DBMS完成優(yōu)化任務。但ETL過程不能僅作為一個大的查詢交給數據庫去處理，在ETL過程中各個活動相互關聯，全局優(yōu)化是必須考慮的。 本文對ETL過程

2、的邏輯優(yōu)化進行了研究。對ETL工作流進行了形式化定義，介紹了狀態(tài)等價變換的轉換規(guī)則，狀態(tài)變換過程的模式產生，轉換規(guī)則的適用性，工作流的等價性判定規(guī)則。ETL工作流的優(yōu)化問題可建模成狀態(tài)空間搜索問題：一個ETL工作流可看作一個狀態(tài)圖，對每個狀態(tài)圖采用狀態(tài)變換產生所有可能的等價狀態(tài)圖，從中找出代價最小的狀態(tài)圖即為最優(yōu)ETL執(zhí)行過程。并提出了一個ETL優(yōu)化體系結構。 論文給出了獲得最優(yōu)化ETL過程的算法，首先通過窮舉法對狀態(tài)空間進行完