凹印復合生產數(shù)據(jù)的ETL技術研究與應用平臺開發(fā).pdf

1、當今，隨著凹印復合生產流程信息化的快速發(fā)展，印前的決策作用越來越突出。并且在凹印復合流程中積累了大量內容豐富的數(shù)據(jù)，這些數(shù)據(jù)如果用得好的話，將會成為決策的重要因素。對于這些數(shù)據(jù)處理的最好辦法就是進行數(shù)據(jù)挖掘和多維分析，數(shù)據(jù)挖掘和多維分析的支撐是數(shù)據(jù)倉庫。而數(shù)據(jù)倉庫需要干凈、有效的數(shù)據(jù)，所以數(shù)據(jù)在裝載到數(shù)據(jù)集市之前必須進預處理也就是ETL(Extract-Transformation-Loading)過程。雖然當今市場有現(xiàn)有的ETL工具，

2、而且性能良好，但是在普及時因其造價和通用性上卻碰到了不少困難。因此，自主研發(fā)適合自己業(yè)務的ETL工具便成為了企業(yè)關注的重點。
　　本文首先研究了數(shù)據(jù)倉庫和ETL的相關技術，對ETL的原理進行了深入的研究，重點闡述了本ETL系統(tǒng)中數(shù)據(jù)抽取、數(shù)據(jù)轉換和數(shù)據(jù)加載三大模塊中的方法實現(xiàn)和流程設計。對元數(shù)據(jù)也進行了一定程度上的研究。結合實際需求開發(fā)了一個基于元數(shù)據(jù)的可配置的ETL系統(tǒng)。該系統(tǒng)分為四大模塊:元數(shù)據(jù)管理模塊、數(shù)據(jù)抽取模塊、數(shù)據(jù)轉換

3、模塊、數(shù)據(jù)加載模塊。抽取、轉換、加載的步驟是分開實現(xiàn)。抽取和轉換都有自己獨立的中間數(shù)據(jù)庫，日志管理更是很好的解決了模塊之間的數(shù)據(jù)溝通。系統(tǒng)有人性化的操作界面。系統(tǒng)架構層次分明，有利于擴展。
　　本文的重點不僅僅是在于開發(fā)了一套功能軟件，而是設計和研發(fā)出了一個ETL工具的雛形，從原理、技術以及設計與實現(xiàn)上做了一些探索性的工作?？梢哉f本ETL系統(tǒng)既可以作為一個ETL工具使用，滿足一定的需求，也可以作為一個成長中的應用開發(fā)平臺，供二次開