超算集成平臺(tái)資源監(jiān)控與分配系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、隨著超級(jí)計(jì)算技術(shù)的不斷發(fā)展與日漸成熟，超算集群系統(tǒng)開(kāi)始大量出現(xiàn)并逐漸成為高性能計(jì)算的主流平臺(tái)。如何對(duì)超算集群的資源進(jìn)行實(shí)時(shí)有效地監(jiān)控，進(jìn)而實(shí)現(xiàn)對(duì)計(jì)算資源更合理地分配已成為超級(jí)計(jì)算中心所面臨的一個(gè)重要問(wèn)題。一方面，傳統(tǒng)的集群監(jiān)控采用的是telnet方式，此方法雖然實(shí)現(xiàn)簡(jiǎn)單，但存在執(zhí)行效率低下、延遲嚴(yán)重以及資源狀態(tài)可視化差等缺陷。不僅如此，對(duì)于監(jiān)控所得到的數(shù)據(jù)，傳統(tǒng)集群也未能進(jìn)行有效地利用。另一方面，在目前的超算集群中，資源分配方面通常采用

2、的是先來(lái)先服務(wù)、Max-min等單一的資源分配策略，這些策略不僅過(guò)于簡(jiǎn)單，而且尚未利用資源監(jiān)控的資源狀態(tài)數(shù)據(jù)引導(dǎo)反饋資源的合理分配，造成了資源監(jiān)控與分配的脫節(jié)。這在一定程度上制約了用戶任務(wù)執(zhí)行效率的提升，因此本文針對(duì)這些問(wèn)題，設(shè)計(jì)和實(shí)現(xiàn)超算集成平臺(tái)的資源監(jiān)控與分配系統(tǒng)。
　　首先，本文針對(duì)目前超算集成平臺(tái)資源分配方式過(guò)于單一、任務(wù)執(zhí)行效率不高以及未充分利用資源監(jiān)控系統(tǒng)狀態(tài)數(shù)據(jù)的問(wèn)題，提出了一個(gè)融合資源監(jiān)控的IWO-ACO(Ant

3、ColonyOptimization based on Invasive Weed Optimization)資源分配策略。IWO-ACO算法依據(jù)入侵式雜草算法的“空間散布”機(jī)制對(duì)蟻群算法的信息素更新規(guī)則進(jìn)行了改進(jìn)，使得算法在尋優(yōu)能力和收斂性能上都有了較好的提升；此外還使用了動(dòng)態(tài)揮發(fā)、濃度控制及動(dòng)態(tài)均衡等策略，有效地避免了算法的“早熟”現(xiàn)象。然后本文利用IWO-ACO算法和資源監(jiān)控系統(tǒng)監(jiān)測(cè)的節(jié)點(diǎn)負(fù)載數(shù)據(jù)，形成一個(gè)融合資源監(jiān)控的資源分配策

4、略，并給出了相應(yīng)的策略過(guò)程描述和算法流程。
　　其次，基于提出的融合資源監(jiān)控的IWO-ACO資源分配策略，本文設(shè)計(jì)并實(shí)現(xiàn)了超算集成平臺(tái)資源監(jiān)控與分配系統(tǒng)，以彌補(bǔ)傳統(tǒng)集群監(jiān)控延遲嚴(yán)重、可視化差等缺陷。系統(tǒng)采用Spring框架的QuartZ任務(wù)調(diào)度器定時(shí)輪詢集群計(jì)算節(jié)點(diǎn)的負(fù)載情況，然后以熱圖或曲線的形式向用戶實(shí)時(shí)展示超算集群的資源狀態(tài)，如節(jié)點(diǎn)狀態(tài)、CPU/GPU利用率和內(nèi)存利用率等。資源監(jiān)控得到的資源狀態(tài)數(shù)據(jù)為本文的資源分配策略提供了