多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)密集型科學(xué)工作流的執(zhí)行優(yōu)化研究.pdf

1、隨著大數(shù)據(jù)(Big Data)時代的到來，越來越多的科學(xué)實(shí)驗(yàn)面臨海量數(shù)據(jù)處理問題，這些數(shù)據(jù)處理包含多個步驟且過程復(fù)雜，通?？山３蓴?shù)據(jù)密集型科學(xué)工作流。數(shù)據(jù)密集型科學(xué)工作流數(shù)據(jù)處理規(guī)模極其龐大，一般需要分布在多個數(shù)據(jù)中心的計算和存儲資源，以實(shí)現(xiàn)對數(shù)據(jù)密集型科學(xué)工作流執(zhí)行的有效支撐。其中，AMS實(shí)驗(yàn)數(shù)據(jù)處理和分析作為一個典型的數(shù)據(jù)密集型工作流應(yīng)用，也是將其海量的數(shù)據(jù)和計算任務(wù)分布到全球不同地區(qū)的多個數(shù)據(jù)中心進(jìn)行處理。然而，對于數(shù)據(jù)密集型科

2、學(xué)工作流而言，其在多數(shù)據(jù)中心中的執(zhí)行所引發(fā)的執(zhí)行效率問題也日益突出。一方面，數(shù)據(jù)密集型科學(xué)工作流處理的數(shù)據(jù)量很大，數(shù)據(jù)往往分布在多個數(shù)據(jù)中心;另一方面，工作流任務(wù)可能以多個數(shù)據(jù)中心的數(shù)據(jù)作為輸入，往往需要通過網(wǎng)絡(luò)傳輸獲取相關(guān)數(shù)據(jù)。由于數(shù)據(jù)中心間的網(wǎng)絡(luò)帶寬有限，跨數(shù)據(jù)中心間的海量數(shù)據(jù)傳輸成為影響數(shù)據(jù)密集型科學(xué)工作流高效執(zhí)行的關(guān)鍵因素。
　　高效的數(shù)據(jù)管理和任務(wù)調(diào)度算法是實(shí)現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中執(zhí)行優(yōu)化的關(guān)鍵。針對工

3、作流海量初始數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問題，現(xiàn)有的工作主要基于數(shù)據(jù)相關(guān)性進(jìn)行聚類放置，未考慮數(shù)據(jù)量大、相關(guān)性較弱的數(shù)據(jù)集，無法高效地減少初始數(shù)據(jù)的傳輸。針對大量中問數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問題，現(xiàn)有的研究工作主要采用簡單任務(wù)復(fù)制和數(shù)據(jù)多副本存儲來解決，導(dǎo)致運(yùn)行效率和資源利用率較低。因此，現(xiàn)有的工作無法有效地實(shí)現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中高效執(zhí)行目標(biāo)，需在深入考慮數(shù)據(jù)密集型科學(xué)工作流執(zhí)行特點(diǎn)基礎(chǔ)上提出新的高效調(diào)度算法和策略。為此，本

4、文從以下四個方面展開研究:首先，針對跨數(shù)據(jù)中心間的海量初始數(shù)據(jù)傳輸問題，考慮數(shù)據(jù)相關(guān)性的同時考慮數(shù)據(jù)集大小因素，提出初始數(shù)據(jù)聚類放置策略，實(shí)現(xiàn)高內(nèi)聚數(shù)據(jù)放置。其次，針對跨數(shù)據(jù)中心間的中間數(shù)據(jù)傳輸問題，考慮數(shù)據(jù)與任務(wù)間的關(guān)系，提出多級任務(wù)復(fù)制算法，實(shí)現(xiàn)數(shù)據(jù)的本地性獲取，減少中間數(shù)據(jù)的傳輸。再次，針對數(shù)據(jù)傳輸和任務(wù)執(zhí)行串行化問題，提出數(shù)據(jù)預(yù)放置策略，將數(shù)據(jù)傳輸操作和任務(wù)運(yùn)行分離，實(shí)現(xiàn)數(shù)據(jù)傳輸和任務(wù)運(yùn)行的并行執(zhí)行。最后，在理論研究基礎(chǔ)上，結(jié)合