Simulation Runner：基于云的輕量級(jí)高性能運(yùn)算平臺(tái).pdf

1、通常情況下，計(jì)算密集型的軟件需要可擴(kuò)展的計(jì)算資源。傳統(tǒng)的高性能運(yùn)算平臺(tái)提供了大規(guī)模的計(jì)算資源，但是使用機(jī)構(gòu)需要IT人員購買這些計(jì)算設(shè)備。隨著云計(jì)算的發(fā)展，越來越多的科學(xué)家以及工程師把他們現(xiàn)有的應(yīng)用從本地集群遷移到公有云上。但是云遷移不僅僅需要普通的編程技能，還需要對(duì)云平臺(tái)的架構(gòu)有所了解，并且有云編程經(jīng)驗(yàn)。成功的云遷移對(duì)于研究機(jī)構(gòu)來說不僅僅需要付出較多的開發(fā)時(shí)間，同時(shí)需要較多的開發(fā)經(jīng)費(fèi)。
　　本文提出了一個(gè)基于云平臺(tái)的輕量級(jí)的并行與

2、分布式高性能運(yùn)算平臺(tái)Simulation Runner。該平臺(tái)主要用于支持易于并行化的計(jì)算密集型以及數(shù)據(jù)密集型科學(xué)運(yùn)算程序。使用Simulation Runner科學(xué)家可以輕易的將現(xiàn)有的易于并行的計(jì)算密集型或者數(shù)據(jù)密集型應(yīng)用程序直接放在云平臺(tái)上并行運(yùn)行。不需要再對(duì)單個(gè)程序進(jìn)行云遷移。系統(tǒng)能夠?qū)⒄麄€(gè)作業(yè)切割為更小單位的任務(wù)，并且使得每個(gè)任務(wù)在不同節(jié)點(diǎn)上并行執(zhí)行。在任務(wù)并行執(zhí)行的同時(shí)，能夠記錄任務(wù)實(shí)時(shí)的輸出以及錯(cuò)誤信息。最后將任務(wù)的輸出文件

3、上傳到Azure Blob存儲(chǔ)中。為了提高作業(yè)的執(zhí)行效率，系統(tǒng)使用了文件緩存機(jī)制來提高性能同時(shí)減少文件傳輸?shù)拈_銷。為了方便用戶通過各種途徑上傳自己的作業(yè)文件，系統(tǒng)還能夠提供對(duì)多個(gè)數(shù)據(jù)源的支持，包括DropBox、OneDrive以及Azure Blob存儲(chǔ)。在很多情況下，科學(xué)計(jì)算軟件不僅僅依賴于Windows本身的平臺(tái)，還需要其他運(yùn)行庫環(huán)境的支持。為了滿足這些科學(xué)運(yùn)算軟件的需求，系統(tǒng)還能夠?qū)Χ鄠€(gè)運(yùn)行環(huán)境進(jìn)行支持，包括Python運(yùn)行環(huán)、