海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)ETL系統(tǒng)的研究與開發(fā).pdf

1、建國(guó)以來，各相關(guān)單位在中國(guó)海域和大洋地區(qū)相繼開展了多次大規(guī)模的海洋調(diào)查研究工作，積累了豐富的海洋數(shù)據(jù)。如何有效地管理和利用這些數(shù)據(jù)，為國(guó)民經(jīng)濟(jì)建設(shè)和國(guó)防服務(wù)，是一個(gè)亟待解決的問題。“海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘研究”正是基于此而提出的一個(gè)課題，它是由東北大學(xué)軟件所和國(guó)家海洋信息中心合作開發(fā)，包括數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和OLAP三個(gè)部分。本文重點(diǎn)討論海洋環(huán)境數(shù)據(jù)庫(kù)中ETL系統(tǒng)關(guān)鍵技術(shù)的研究及系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)。 提高數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量是ETL

2、的重要任務(wù)，數(shù)據(jù)清洗相關(guān)算法的研究已經(jīng)相當(dāng)成熟，然而數(shù)據(jù)清洗是否有效更重要的在于清洗規(guī)則制定的準(zhǔn)確程度。為了方便數(shù)據(jù)庫(kù)的開發(fā)人員和源數(shù)據(jù)管理員的溝通，提高清洗規(guī)則制定的準(zhǔn)確度和可信度，本文提出了把數(shù)據(jù)清洗的部分工作放在ETL過程的開始部分執(zhí)行的改進(jìn)架構(gòu)。它將原來主要集中在ETL服務(wù)器上的數(shù)據(jù)清洗工作分散到了各個(gè)源數(shù)據(jù)端的服務(wù)器上，增強(qiáng)了系統(tǒng)的并行度，減輕了ETL服務(wù)器的負(fù)擔(dān)，提高了清洗效率。該架構(gòu)同時(shí)將源數(shù)據(jù)改造和一般性變換后，利用數(shù)據(jù)

3、庫(kù)自帶的專用工具進(jìn)行數(shù)據(jù)加載，大大提高了ETL的速度，減少了編碼的工作量，增強(qiáng)了系統(tǒng)的可靠性。該改進(jìn)的架構(gòu)還支持統(tǒng)一的增量數(shù)據(jù)抽取，以及對(duì)空間數(shù)據(jù)特有的ETL問題進(jìn)行了擴(kuò)展。 本文提出了基于多線程/進(jìn)程和任務(wù)平衡調(diào)度的優(yōu)化策略，以進(jìn)一步提高數(shù)據(jù)加載的速度和資源的利用率。并對(duì)任務(wù)平衡調(diào)度策略進(jìn)行了比較深入的研究，建立了基于工作流原理的多任務(wù)平衡調(diào)度模型，提出了靜態(tài)調(diào)度，動(dòng)態(tài)調(diào)度和同層劃分的優(yōu)化調(diào)度策略。最后給出了改進(jìn)的ETL架構(gòu)在