虛擬計(jì)算集群下高性能應(yīng)用性能分析與優(yōu)化技術(shù)研究.pdf

1、虛擬化帶來(lái)的性能開(kāi)銷阻礙了高性能計(jì)算在虛擬集群環(huán)境下的大規(guī)模應(yīng)用。首先，虛擬化層次的引入在傳統(tǒng)操作系統(tǒng)任務(wù)調(diào)度中加入了虛擬CPU調(diào)度這一額外層次，帶來(lái)了額外的調(diào)度開(kāi)銷。其次，同一臺(tái)物理主機(jī)上所有虛擬機(jī)的通信通過(guò)虛擬機(jī)監(jiān)視器統(tǒng)一處理，增加了應(yīng)用在虛擬集群環(huán)境下的通信延遲。最后，同一臺(tái)物理主機(jī)上的虛擬機(jī)對(duì)Cache等共享資源的非親和性使用，使得高性能應(yīng)用在虛擬集群環(huán)境下的性能顯著下降。
　　分析高性能應(yīng)用在虛擬集群環(huán)境下的性能開(kāi)銷并由

2、此提出相應(yīng)的優(yōu)化技術(shù)是解決上述問(wèn)題的有效手段。本文利用Xen虛擬化軟件、SLURM集群作業(yè)管理系統(tǒng)，Eclipse+PTP遠(yuǎn)程并行開(kāi)發(fā)調(diào)試環(huán)境等構(gòu)建了一個(gè)虛擬化高性能集群系統(tǒng)，通過(guò)在該系統(tǒng)上執(zhí)行高性能測(cè)試集，對(duì)高性能應(yīng)用的虛擬化性能開(kāi)銷進(jìn)行量化分析，提出了基于VCPU親和性的虛擬資源優(yōu)化調(diào)度技術(shù)。具體研究?jī)?nèi)容包括以下三個(gè)方面：
　　1.課題研究了虛擬化技術(shù)與基于虛擬集群的高性能計(jì)算國(guó)內(nèi)外現(xiàn)狀，為虛擬集群系統(tǒng)軟件棧的構(gòu)建提供了選擇依

3、據(jù)；對(duì)傳統(tǒng)高性能環(huán)境下的典型應(yīng)用進(jìn)行調(diào)研，選取了三個(gè)具有代表性的科學(xué)計(jì)算應(yīng)用作為虛擬化性能開(kāi)銷的測(cè)試集；對(duì)用戶可能關(guān)心的性能指標(biāo)進(jìn)行了綜合，選取合適的性能評(píng)價(jià)標(biāo)準(zhǔn)衡量虛擬集群環(huán)境下高性能應(yīng)用的性能；最后闡述了虛擬集群系統(tǒng)的構(gòu)建流程。
　　2.通過(guò)在虛擬集群和物理集群上分別執(zhí)行高性能應(yīng)用程序?qū)μ摂M化性能開(kāi)銷進(jìn)行了量化分析。特別地，通過(guò)執(zhí)行中長(zhǎng)期天氣預(yù)報(bào)模式WRF，對(duì)虛擬集群環(huán)境下實(shí)際科學(xué)應(yīng)用程序的性能開(kāi)銷進(jìn)行了分析；通過(guò)執(zhí)行NPB標(biāo)

4、準(zhǔn)測(cè)試集對(duì)虛擬集群下不同類型高性能應(yīng)用的性能開(kāi)銷進(jìn)行了分析；通過(guò)執(zhí)行科學(xué)工作流數(shù)據(jù)放置策略測(cè)試了虛擬集群下工作流應(yīng)用不同規(guī)模通信量下的性能開(kāi)銷。最后，基于量化分析結(jié)果，指出了基于虛擬集群的高性能計(jì)算當(dāng)前存在的問(wèn)題與改進(jìn)方向。
　　3.根據(jù)虛擬集群下通信復(fù)用不明顯而導(dǎo)致通信開(kāi)銷較大的特點(diǎn)，提出了基于Bin Packing的虛擬資源優(yōu)化調(diào)度算法。該算法在基于解決傳統(tǒng)BinPacking問(wèn)題的三種啟發(fā)式算法的基礎(chǔ)上，通過(guò)選取剩余時(shí)間和內(nèi)