高可靠性動態(tài)群集數(shù)據(jù)集成系統(tǒng)的研究與實現(xiàn).pdf

1、隨著企業(yè)中信息技術的應用日益廣泛，信息系統(tǒng)在企業(yè)發(fā)展過程中不斷被建立和完善。就大型企業(yè)和政府部門的信息化進程來說，其信息系統(tǒng)的建設通常具有兩個特點：分布性和階段性，因而導致了“信息孤島（Information Silo）”現(xiàn)象的發(fā)生。數(shù)據(jù)集成技術（也被稱為ETL技術）作為一種解決“信息孤島”問題的方案，負責將不同特點、來源及格式的數(shù)據(jù)在物理上或邏輯上有機地進行集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。經(jīng)過多年的發(fā)展，數(shù)據(jù)集成技術在數(shù)據(jù)倉庫領域

2、已經(jīng)有了比較廣泛的應用。近年來，隨著大數(shù)據(jù)、云計算技術的興起，企業(yè)對數(shù)據(jù)的依賴進一步加深，獲取信息的來源較之以往更加多樣化，如移動設備，因特網(wǎng)等，與此同時，對海量異構(gòu)數(shù)據(jù)進行集成的問題也受到了人們越來越多的關注。
　　現(xiàn)有數(shù)據(jù)集成架構(gòu)基本能夠滿足功能和易用性上的需求，但是在大數(shù)據(jù)環(huán)境下，其效率、可靠性、可擴展性都沒有得到很好的解決，因此本文著眼于ETL工作流的并發(fā)執(zhí)行和基于事務的ETL數(shù)據(jù)處理，對現(xiàn)有數(shù)據(jù)集成架構(gòu)進行改造，提出了高

3、可靠性群集數(shù)據(jù)集成系統(tǒng)架構(gòu)。
　　本課題首先研究了開源流處理平臺Storm的整體框架，然后分析了使用Storm進行ETL數(shù)據(jù)流處理所具備的優(yōu)勢以及還需要解決的問題，并在此基礎上提出了一套基于群集計算的高可靠數(shù)據(jù)集成系統(tǒng)架構(gòu)。為了并發(fā)執(zhí)行ETL工作流，我們結(jié)合它的特點提出了ETL數(shù)據(jù)分組方法和ETL工作流并行化方法，并解決了ETL工作流并發(fā)執(zhí)行時所需的數(shù)據(jù)緩存關鍵技術。針對ETL數(shù)據(jù)處理的可靠性問題，我們結(jié)合Storm平臺所提供的消