多集群系統(tǒng)中作業(yè)管理的研究與實現(xiàn).pdf

1、隨著分布計算技術(shù)的發(fā)展，并行處理系統(tǒng)已經(jīng)從單一的、獨立的集群過渡到了合作的、互聯(lián)的分布式系統(tǒng)，多集群系統(tǒng)的作用日益突現(xiàn)。多集群系統(tǒng)的基本任務(wù)是為用戶提供一個統(tǒng)一的共享集群計算資源的環(huán)境，使用戶提交的作業(yè)根據(jù)計算需求可以在多個集群之間進(jìn)行優(yōu)化調(diào)度，充分利用計算資源。 在多集群系統(tǒng)中，如何對作業(yè)進(jìn)行合理調(diào)度，充分利用軟硬件資源對于多集群系統(tǒng)性能的發(fā)揮和集群的推廣應(yīng)用具有舉足輕重的意義。目前作業(yè)管理系統(tǒng)大多針對單一的集群系統(tǒng)，對于集群

2、內(nèi)部的作業(yè)調(diào)度研究比較深入，但是對于多集群范圍內(nèi)作業(yè)管理的研究卻剛剛開始。由于計算資源的分布性、異構(gòu)性、自治性等特點，使得多集群環(huán)境下的作業(yè)管理面臨巨大的挑戰(zhàn)。 本文系統(tǒng)而深入地研究了多集群系統(tǒng)中的作業(yè)管理問題，探討了多集群系統(tǒng)的特征，設(shè)計并實現(xiàn)了多集群作業(yè)管理系統(tǒng)。在此過程中，本文主要完成了以下工作：1)在對典型作業(yè)管理系統(tǒng)深入分析的基礎(chǔ)上，結(jié)合多集群系統(tǒng)的環(huán)境特點，提出了多集群作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)，對各功能模塊進(jìn)行了詳細(xì)的

3、分析和設(shè)計，基于該體系結(jié)構(gòu)以及上海大學(xué)自強(qiáng)系列集群環(huán)境，實現(xiàn)了一個多集群作業(yè)管理系統(tǒng)。2)具體闡述了現(xiàn)有作業(yè)調(diào)度算法對多集群系統(tǒng)支持的不足，并根據(jù)負(fù)載平衡相關(guān)技術(shù)以及一些影響和制約系統(tǒng)并行效能的關(guān)鍵因素，指出了動態(tài)負(fù)載平衡策略在多集群環(huán)境下應(yīng)用的缺陷，提出并實現(xiàn)了一個多集群環(huán)境下的靜態(tài)集中式負(fù)載平衡算法。3)在上海大學(xué)多集群環(huán)境下，使用MPI并行作業(yè)對系統(tǒng)進(jìn)行了測試和評價，并給出了benchmark基準(zhǔn)對本系統(tǒng)的測試結(jié)果，結(jié)果顯示該作業(yè)