云計算環(huán)境下的科學工作流數據放置策略研究.pdf

1、科學工作流作為近年來出現的一種新的應用泛型，可集成、構造和協(xié)同分布異構的數據、服務和軟件，提高科學實驗過程的自動化。科學工作流應用通常是數據和計算密集型的，對計算資源與存儲資源有較高的要求，因此傳統(tǒng)的計算環(huán)境已很難滿足科學工作流的需要。云計算以高性能的計算資源與海量的存儲資源為科學工作流應用提供了一種全新的部署和執(zhí)行方式。在云環(huán)境中執(zhí)行科學工作流不僅可以節(jié)約大量的執(zhí)行成本，而且為科研人員之間實現資源共享與合作研究提供了一個良好的契機。然

2、而在云環(huán)境中，一個大型復雜的跨數據中心的科學工作流應用由于需要處理大規(guī)模的數據以及傳輸海量的數據，因此在數據布局管理方面遇到一些問題與挑戰(zhàn)。因為，數據布局的不同將直接影響科學工作流的執(zhí)行效率。針對這些問題，本文對現有數據布局與放置策略進行了深入分析與研究，并在此基礎上提出了基于數據依賴度、兼顧時間開銷的數據布局策略以及增量數據敏感的低成本數據放置方法。
　　基于數據依賴度、兼顧時間開銷的數據布局策略聚焦于科學工作流任務數據集之間的

3、依賴關系、各數據中心計算能力差異以及數據中心之間傳輸能力差異，探討了一種科學工作流的數據集在多數據中心間的合理布局策略。
　　增量數據敏感的低成本數據放置方法通過自動地確定中間數據集的存儲與刪除，從而使科學工作流應用總是以較低的成本運行在云環(huán)境中。此外，該方法還探討了一種優(yōu)化數據集傳輸費用的中間數據集存儲方式。
　　上述兩種策略的仿真實驗結果表明，這兩種策略分別對降低科學工作流運行時間、提高科學工作流執(zhí)行效率，以及減少科學工