Simulation Runner：基于云的輕量級高性能運算平臺.pdf

1、通常情況下，計算密集型的軟件需要可擴展的計算資源。傳統(tǒng)的高性能運算平臺提供了大規(guī)模的計算資源，但是使用機構(gòu)需要IT人員購買這些計算設(shè)備。隨著云計算的發(fā)展，越來越多的科學家以及工程師把他們現(xiàn)有的應用從本地集群遷移到公有云上。但是云遷移不僅僅需要普通的編程技能，還需要對云平臺的架構(gòu)有所了解，并且有云編程經(jīng)驗。成功的云遷移對于研究機構(gòu)來說不僅僅需要付出較多的開發(fā)時間，同時需要較多的開發(fā)經(jīng)費。
　　本文提出了一個基于云平臺的輕量級的并行與

2、分布式高性能運算平臺Simulation Runner。該平臺主要用于支持易于并行化的計算密集型以及數(shù)據(jù)密集型科學運算程序。使用Simulation Runner科學家可以輕易的將現(xiàn)有的易于并行的計算密集型或者數(shù)據(jù)密集型應用程序直接放在云平臺上并行運行。不需要再對單個程序進行云遷移。系統(tǒng)能夠?qū)⒄麄€作業(yè)切割為更小單位的任務(wù)，并且使得每個任務(wù)在不同節(jié)點上并行執(zhí)行。在任務(wù)并行執(zhí)行的同時，能夠記錄任務(wù)實時的輸出以及錯誤信息。最后將任務(wù)的輸出文件

3、上傳到Azure Blob存儲中。為了提高作業(yè)的執(zhí)行效率，系統(tǒng)使用了文件緩存機制來提高性能同時減少文件傳輸?shù)拈_銷。為了方便用戶通過各種途徑上傳自己的作業(yè)文件，系統(tǒng)還能夠提供對多個數(shù)據(jù)源的支持，包括DropBox、OneDrive以及Azure Blob存儲。在很多情況下，科學計算軟件不僅僅依賴于Windows本身的平臺，還需要其他運行庫環(huán)境的支持。為了滿足這些科學運算軟件的需求，系統(tǒng)還能夠?qū)Χ鄠€運行環(huán)境進行支持，包括Python運行環(huán)、