網(wǎng)格中按多粒度分配作業(yè)資源模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)格以提供平臺或資源的共享為目標(biāo),能夠?qū)⒎稚⒃谝欢ǖ乩矸秶鷥?nèi)的異構(gòu)計(jì)算資源集成。網(wǎng)格為解決大規(guī)模的并行計(jì)算問題提供了相對廉價的高性價比計(jì)算模型。
　　網(wǎng)格界著名產(chǎn)品LSF(LoadSharingFacility)是一種管理計(jì)算資源的網(wǎng)格計(jì)算軟件,能為用戶提供不同計(jì)算資源的單一系統(tǒng)鏡像。在LSF管理的集群中,經(jīng)常運(yùn)行需要大量計(jì)算資源的、跨越多個主機(jī)的并行作業(yè)。作業(yè)在運(yùn)行時,主機(jī)之間交互的信息消耗大量的網(wǎng)絡(luò)帶寬,從而使整個集群的性能受

2、到影響。
　　本課題中,針對LSF管理的集群中并行作業(yè)影響系統(tǒng)性能的問題提出了系統(tǒng)級的解決方案。在調(diào)度作業(yè)時,用戶可以根據(jù)集群的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),請求不同粒度及數(shù)目的計(jì)算資源,同時,還可以通過增加一些約束條件來限制資源的分配方式。針對不同的約束條件,LSF會按照不同的算法為作業(yè)分配資源,并最終運(yùn)行作業(yè)。
　　網(wǎng)格中按多粒度分配作業(yè)資源模塊實(shí)現(xiàn)了這個解決方案,并將其作為一種擴(kuò)展功能添加到LSF中。在不更改LSF現(xiàn)有框架的基礎(chǔ)上,增

3、加了三個子模塊,分別實(shí)現(xiàn)了不同的作業(yè)調(diào)度策略。這三個子模塊使用了LSF已有框架及API,能幫助LSF識別用戶配置的資源粒度信息,并按照用戶要求為作業(yè)分配資源。如何保存資源信息、正確調(diào)度作業(yè)并及時更新資源狀態(tài)是系統(tǒng)實(shí)現(xiàn)的難點(diǎn)。因此系統(tǒng)中增加了保存資源信息的數(shù)據(jù)結(jié)構(gòu),設(shè)計(jì)并實(shí)現(xiàn)了并行作業(yè)調(diào)度算法。
　　系統(tǒng)開發(fā)完成之后,LSF在調(diào)度跨越多個主機(jī)的并行作業(yè)時,調(diào)度時間會有所增加,但作業(yè)的執(zhí)行時間明顯下降,效率顯著提高。因此,本課題達(dá)到了