IaaS環(huán)境中科學工作流關(guān)鍵技術(shù)研究.pdf

1、科學工作流是大規(guī)?？茖W計算程序的重要組織模式之一。近年來，隨著科學研究的日趨廣泛和深入，其對計算資源的需求也呈現(xiàn)出爆炸性增長的趨勢。基礎設施即服務(IaaS)模型是云計算中最重要的一種服務模型，其可以通過網(wǎng)絡以虛擬機的形式按需提供大量計算資源，無疑是科學工作流潛在的理想運行環(huán)境。然而，作為新興技術(shù)，IaaS平臺與傳統(tǒng)分布式計算平臺在很多方面仍然有著顯著的差異。這些差異給科學工作流的調(diào)度和執(zhí)行等都帶來了新的挑戰(zhàn)。本文圍繞IaaS環(huán)境中的科

2、學工作流，研究包括構(gòu)造、調(diào)度和執(zhí)行在內(nèi)的若干關(guān)鍵問題，文章工作取得的主要成果及創(chuàng)新點包括:
　　1)對IaaS環(huán)境中的科學工作流調(diào)度問題進行建模，同時針對工作流執(zhí)行過程研究IaaS平臺特點，指出由于這些特點（基于虛擬機的動態(tài)資源管理方式、復雜的計費模型以及各種數(shù)據(jù)共享選項等）導致的現(xiàn)有工作流調(diào)度算法在IaaS環(huán)境中使用時可能存在的問題。
　　2)針對IaaS環(huán)境預算約束條件下性能優(yōu)先工作流調(diào)度問題，提出新的啟發(fā)式調(diào)度算法BH

3、I算法。算法根據(jù)任務完成時間、當前已用預算以及最小預留預算等啟發(fā)式信息將任務調(diào)度到合適的虛擬機，在保證預算約束的條件下盡可能的尋找使工作流執(zhí)行總完成時間最小化的調(diào)度方案。同時，還給出新的解決方案解決現(xiàn)有基于列表的啟發(fā)式調(diào)度算法在IaaS環(huán)境中難以應用的問題。實驗表明，相比現(xiàn)有算法，BHI算法在大多數(shù)情況下都可以找到更快的調(diào)度方案，同時還具有更高的調(diào)度成功率。
　　3)針對IaaS環(huán)境中需要同時優(yōu)化總完成時間和總執(zhí)行費用的工作流調(diào)度

4、問題，指出現(xiàn)有各種元啟發(fā)算法特別是進化算法的不足;同時，設計新的基于進化算法的EMS-C調(diào)度算法。該算法針對IaaS環(huán)境提出全新的問題特定編碼方式、交叉/變異算予和更有效的種群初始化方法。基于現(xiàn)實工作流應用和Amazon EC2平臺虛擬機配置的實驗證實了EMS-C算法設計的有效性;
　　4)針對IaaS環(huán)境中的多目標工作流調(diào)度問題，提出新的元啟發(fā)調(diào)度算法ESC算法。算法采用進化的思想，但設計了全新的基于虛擬機合并、分裂和配置突變的

5、搜索方法，同時對包括種群初始化和新個體生成策略在內(nèi)的迭代搜索過程也進行改進。實驗表明該算法調(diào)度結(jié)果優(yōu)于MOHEFT等現(xiàn)有調(diào)度算法，同時相比現(xiàn)有各種元啟發(fā)調(diào)度算法具有更強的搜索能力和更快的搜索速度。
　　5)為解決復雜科學工作流的建模問題，同時充分利用IaaS資源執(zhí)行科學工作流應用，設計并實現(xiàn)Brick科學工作流工具包。工具包允許用戶使用Python腳本便捷地隱式創(chuàng)建科學工作流，同時內(nèi)置了各種靜態(tài)/動態(tài)調(diào)度引擎并支持包括IaaS平臺

6、/虛擬機在內(nèi)的各種計算環(huán)境和資源組織形式。文章通過一個真實工作流應用完整的創(chuàng)建、執(zhí)行和分析過程展示了Brick工具包的可用性和便利性。
　　6)為使遺留科學計算代碼可以使用科學工作流技術(shù)和IaaS平臺計算資源的進行優(yōu)化和加速，在Brick工具包中還包括了Briareus組件。該組件可以在僅添加數(shù)條描述性注釋的情況下對一個已有的Python計算程序進行工作流化的改造，同時允許將指定的計算任務自動、透明地遷移到IaaS平臺進行。文章通