基于集群環(huán)境的作業(yè)管理中間件的研究與實現(xiàn).pdf

1、隨著計算機集群技術(shù)的飛速發(fā)展，集群作業(yè)管理系統(tǒng)已成為高性能計算領(lǐng)域的研究熱點之一。然而，作業(yè)管理系統(tǒng)一般通過命令行方式進行配置和管理，對用戶的知識結(jié)構(gòu)和實際操作技能水平要求比較高，存在配置使用復(fù)雜、入門較難、容易出錯等不足。如何更加方便有效地使用高性能計算資源成為用戶和資源提供者共同關(guān)心的問題。本文結(jié)合“天河一號”超算平臺建設(shè)中的實際應(yīng)用課題，著力于研究基于集群環(huán)境的作業(yè)管理中間件的設(shè)計和實現(xiàn)問題，目標是降低用戶使用高性能計算資源的門檻

2、，提高資源利用率。本文主要工作有:
　　(1)本文首先研究了集群技術(shù)的定義、體系結(jié)構(gòu)和分類，重點分析了“天河一號”超級計算機的硬件和軟件系統(tǒng)結(jié)構(gòu)，然后對集群作業(yè)管理系統(tǒng)進行了研究，重點研究了SLURM作業(yè)調(diào)度器的體系結(jié)構(gòu)、優(yōu)先級計算策略和工作原理。
　　(2)圍繞超算平臺的運營需求，本文提出了一種基于用戶價值的作業(yè)優(yōu)先級調(diào)度策略。本文首先介紹了該策略的提出背景，并對用于多準則決策的層次分析方法(AHP)進行了研究，然后設(shè)計了

3、相應(yīng)的用戶價值評價指標體系，并運用AHP方法對指標體系中的各因素對應(yīng)的權(quán)重進行分析和求解，最后基于中間件系統(tǒng)對該策略進行實現(xiàn)和實驗。實驗結(jié)果表明，該作業(yè)調(diào)度策略能在保證系統(tǒng)整體性能情況下，有效減少高價值用戶的作業(yè)平均等待時間和作業(yè)平均周轉(zhuǎn)時間。
　　(3)本文設(shè)計和實現(xiàn)了一個基于集群環(huán)境的作業(yè)管理中間件系統(tǒng)。本文首先分析了中間件系統(tǒng)的功能需求，并對實現(xiàn)過程中所使用的關(guān)鍵技術(shù)進行了深入的研究，然后對系統(tǒng)的設(shè)計理念和與作業(yè)管理相關(guān)的數(shù)

4、據(jù)表結(jié)構(gòu)進行了介紹，最后進行了代碼實現(xiàn)。同時本文設(shè)計和實現(xiàn)了一種基于模板的CAE軟件封裝方法—CAE-APT(CAE Application Packaging Template)。該方法基于XML實現(xiàn)，具有平臺無關(guān)性，易維護和擴展等優(yōu)點。作業(yè)管理中間件系統(tǒng)已完成原型系統(tǒng)開發(fā)，在整個超算集成平臺中實現(xiàn)了與門戶子系統(tǒng)、集群端子系統(tǒng)的無縫集成，并進行了多次聯(lián)合測試，運行狀況良好。
　　實踐結(jié)果表明，本文針對集群作業(yè)管理系統(tǒng)所作的研究和