基于分區(qū)的分布式達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)(DMETL)的研究.pdf

1、當(dāng)前數(shù)據(jù)的結(jié)構(gòu)愈加復(fù)雜，分布更為廣泛，促進(jìn)了分布式ETL工具的發(fā)展。達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)（DMETL）是高性能的流式ETL工具，它的集群特性支持ETL流程的分布式執(zhí)行。對(duì)于分布式ETL工具，對(duì)ETL活動(dòng)節(jié)點(diǎn)分區(qū)是ETL并行優(yōu)化策略的一種，可以提高并發(fā)度，但是容易產(chǎn)生較大的網(wǎng)絡(luò)開(kāi)銷。而對(duì)ETL流程進(jìn)行合理劃分能夠減小網(wǎng)絡(luò)開(kāi)銷，提高資源利用率，因此基于分布式達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)對(duì)ETL流程的分區(qū)問(wèn)題進(jìn)行研究是很有意義的。
　　首先，介紹了分布

2、式達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)的總體結(jié)構(gòu)，描述了ETL流程在流程執(zhí)行引擎中的執(zhí)行過(guò)程，并對(duì)其中的關(guān)鍵模塊：執(zhí)行引擎模塊、元數(shù)據(jù)庫(kù)模塊、服務(wù)監(jiān)聽(tīng)模塊和集群管理模塊進(jìn)行了介紹。元數(shù)據(jù)模塊可以獲取ETL流程的活動(dòng)信息，執(zhí)行引擎中負(fù)責(zé)進(jìn)行解析和分區(qū)，遠(yuǎn)程服務(wù)監(jiān)聽(tīng)模塊可用于遠(yuǎn)程執(zhí)行子分區(qū)流程，集群模塊為流程分布式執(zhí)行提供可靠性保證。
　　然后，研究DMETL活動(dòng)節(jié)點(diǎn)的劃分問(wèn)題和ETL流程分區(qū)問(wèn)題。對(duì)于活動(dòng)節(jié)點(diǎn)分區(qū)，實(shí)現(xiàn)了多種節(jié)點(diǎn)分區(qū)策略；對(duì)于流程分區(qū)，