基于任務(wù)調(diào)度的集群式ETL模型構(gòu)建研究.pdf

1、近些年,企業(yè)規(guī)模和業(yè)務(wù)不斷向多個(gè)地區(qū)擴(kuò)展,企業(yè)數(shù)據(jù)環(huán)境也因此變得更加復(fù)雜。ETL,即數(shù)據(jù)抽取、轉(zhuǎn)換和加載過程,是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié),所占工作量很大。如何提高ETL的處理能力來適應(yīng)復(fù)雜的數(shù)據(jù)環(huán)境,漸漸成為了學(xué)者們的研究熱點(diǎn),已取得了一定的成果。但是這些ETL模型理論考慮的數(shù)據(jù)環(huán)境因素較簡(jiǎn)單,難以勝任分布式環(huán)境下的多處理器ETL工作環(huán)境。
　　本文從ETL工具模型設(shè)計(jì)和任務(wù)調(diào)度策略入手解決了分布式數(shù)據(jù)環(huán)境下的部分ETL數(shù)據(jù)操作問題

2、和執(zhí)行效率問題。本文的主要工作和創(chuàng)新點(diǎn)可以歸為以下幾個(gè)方面:
　　1.從分布式ETL的整個(gè)執(zhí)行過程角度出發(fā),文章提出了一種改進(jìn)的分布式ETL模型－基于任務(wù)調(diào)度的集群式ETL任務(wù)調(diào)度模型,并對(duì)其進(jìn)行了實(shí)現(xiàn)。此模型分為工作流生成模塊和任務(wù)調(diào)度模塊。任務(wù)調(diào)度模塊的引入彌補(bǔ)了以往理論只重視工作流生成,而忽視工作流執(zhí)行的局限性。處理器集群式管理,在一定程度上提高了系統(tǒng)的自治性,降低了數(shù)據(jù)源和網(wǎng)絡(luò)間的差異性。
　　2.基于任務(wù)調(diào)度的集群

3、式ETL模型加入了對(duì)ETL處理器的管理功能。功能的實(shí)現(xiàn)增強(qiáng)了系統(tǒng)運(yùn)行的穩(wěn)定性和可靠性,這是在以往的ETL模型理論中所忽視的問題。
　　3.圍繞著處理器異構(gòu)性問題,我們從兩個(gè)方面進(jìn)行解決,即硬件配置異構(gòu)性問題和軟件異構(gòu)性問題。對(duì)于硬件異構(gòu)性,我們通過利用異構(gòu)集群ETL負(fù)載均衡算法平衡集群內(nèi)部處理器的任務(wù)執(zhí)行,減少集群異構(gòu)性對(duì)ETL工作執(zhí)行的影響,充分利用了處理器資源。采用Web服務(wù)組合技術(shù)使ETL執(zhí)行與處理器平臺(tái)無關(guān),這樣就解決了處