虛擬計算集群下高性能應(yīng)用性能分析與優(yōu)化技術(shù)研究.pdf

1、虛擬化帶來的性能開銷阻礙了高性能計算在虛擬集群環(huán)境下的大規(guī)模應(yīng)用。首先，虛擬化層次的引入在傳統(tǒng)操作系統(tǒng)任務(wù)調(diào)度中加入了虛擬CPU調(diào)度這一額外層次，帶來了額外的調(diào)度開銷。其次，同一臺物理主機上所有虛擬機的通信通過虛擬機監(jiān)視器統(tǒng)一處理，增加了應(yīng)用在虛擬集群環(huán)境下的通信延遲。最后，同一臺物理主機上的虛擬機對Cache等共享資源的非親和性使用，使得高性能應(yīng)用在虛擬集群環(huán)境下的性能顯著下降。
　　分析高性能應(yīng)用在虛擬集群環(huán)境下的性能開銷并由

2、此提出相應(yīng)的優(yōu)化技術(shù)是解決上述問題的有效手段。本文利用Xen虛擬化軟件、SLURM集群作業(yè)管理系統(tǒng)，Eclipse+PTP遠程并行開發(fā)調(diào)試環(huán)境等構(gòu)建了一個虛擬化高性能集群系統(tǒng)，通過在該系統(tǒng)上執(zhí)行高性能測試集，對高性能應(yīng)用的虛擬化性能開銷進行量化分析，提出了基于VCPU親和性的虛擬資源優(yōu)化調(diào)度技術(shù)。具體研究內(nèi)容包括以下三個方面：
　　1.課題研究了虛擬化技術(shù)與基于虛擬集群的高性能計算國內(nèi)外現(xiàn)狀，為虛擬集群系統(tǒng)軟件棧的構(gòu)建提供了選擇依

3、據(jù)；對傳統(tǒng)高性能環(huán)境下的典型應(yīng)用進行調(diào)研，選取了三個具有代表性的科學計算應(yīng)用作為虛擬化性能開銷的測試集；對用戶可能關(guān)心的性能指標進行了綜合，選取合適的性能評價標準衡量虛擬集群環(huán)境下高性能應(yīng)用的性能；最后闡述了虛擬集群系統(tǒng)的構(gòu)建流程。
　　2.通過在虛擬集群和物理集群上分別執(zhí)行高性能應(yīng)用程序?qū)μ摂M化性能開銷進行了量化分析。特別地，通過執(zhí)行中長期天氣預(yù)報模式WRF，對虛擬集群環(huán)境下實際科學應(yīng)用程序的性能開銷進行了分析；通過執(zhí)行NPB標

4、準測試集對虛擬集群下不同類型高性能應(yīng)用的性能開銷進行了分析；通過執(zhí)行科學工作流數(shù)據(jù)放置策略測試了虛擬集群下工作流應(yīng)用不同規(guī)模通信量下的性能開銷。最后，基于量化分析結(jié)果，指出了基于虛擬集群的高性能計算當前存在的問題與改進方向。
　　3.根據(jù)虛擬集群下通信復用不明顯而導致通信開銷較大的特點，提出了基于Bin Packing的虛擬資源優(yōu)化調(diào)度算法。該算法在基于解決傳統(tǒng)BinPacking問題的三種啟發(fā)式算法的基礎(chǔ)上，通過選取剩余時間和內(nèi)