數據文件自動產生和配置平臺的軟件設計與實現.pdf

1、億貝(ebay)上海分公司的一個職責是維護和開發(fā)全公司的數據倉庫，即每天從實時生產數據庫將當天的業(yè)務數據轉存到數據倉庫進行二次計算和整理，最后生成業(yè)務分析師所需要的數據。但是數據倉庫在權限上控制較為嚴格，導致業(yè)務分析師很難獲取到結果數據。正規(guī)流程為數據倉庫內部編寫ETL腳本抽取出數據，再把這些數據發(fā)送給分析師。但是這個方法耗時耗力周期長。對應的解決方案是設計一個軟件來提供服務。
　　本論文介紹了包括各種億貝內部使用的技術在內的一些

2、背景資料，研究設計并實現了一個軟件。該軟件可以讓用戶提交請求，自動生成對應的代碼腳本，自動部署到生產環(huán)節(jié)，最后每天自動運行。
　　主要完成的功能如下：
　　(1)自動生成配置文件以及配置腳本。自動讀取用戶提交的需求并且生成一系列的配置文件和腳本文件。系統可以通過運行該功能所生產的腳本和配置文件來從數據倉庫中抽取出用戶所需要的數據。
　　(2)定時任務腳本的自動生成。自動根據用戶的需求生成出相對應的定時任務腳本來運行每個