高可靠性動態(tài)群集數據集成系統(tǒng)的研究與實現.pdf

1、隨著企業(yè)中信息技術的應用日益廣泛，信息系統(tǒng)在企業(yè)發(fā)展過程中不斷被建立和完善。就大型企業(yè)和政府部門的信息化進程來說，其信息系統(tǒng)的建設通常具有兩個特點：分布性和階段性，因而導致了“信息孤島（Information Silo）”現象的發(fā)生。數據集成技術（也被稱為ETL技術）作為一種解決“信息孤島”問題的方案，負責將不同特點、來源及格式的數據在物理上或邏輯上有機地進行集中，從而為企業(yè)提供全面的數據共享。經過多年的發(fā)展，數據集成技術在數據倉庫領域

2、已經有了比較廣泛的應用。近年來，隨著大數據、云計算技術的興起，企業(yè)對數據的依賴進一步加深，獲取信息的來源較之以往更加多樣化，如移動設備，因特網等，與此同時，對海量異構數據進行集成的問題也受到了人們越來越多的關注。
　　現有數據集成架構基本能夠滿足功能和易用性上的需求，但是在大數據環(huán)境下，其效率、可靠性、可擴展性都沒有得到很好的解決，因此本文著眼于ETL工作流的并發(fā)執(zhí)行和基于事務的ETL數據處理，對現有數據集成架構進行改造，提出了高

3、可靠性群集數據集成系統(tǒng)架構。
　　本課題首先研究了開源流處理平臺Storm的整體框架，然后分析了使用Storm進行ETL數據流處理所具備的優(yōu)勢以及還需要解決的問題，并在此基礎上提出了一套基于群集計算的高可靠數據集成系統(tǒng)架構。為了并發(fā)執(zhí)行ETL工作流，我們結合它的特點提出了ETL數據分組方法和ETL工作流并行化方法，并解決了ETL工作流并發(fā)執(zhí)行時所需的數據緩存關鍵技術。針對ETL數據處理的可靠性問題，我們結合Storm平臺所提供的消