云計算大規(guī)模彈性資源的性能優(yōu)化技術(shù)研究.pdf

1、云計算的興起與發(fā)展徹底改變了人們對計算資源的使用方式，促生了以計算為中心向以業(yè)務(wù)和服務(wù)為中心的一次變革性轉(zhuǎn)化?；A(chǔ)設(shè)施即服務(wù)（Infrastructure-as-a-Service， IaaS）模式在云計算的服務(wù)模式中占據(jù)了重要的地位，同時也是當(dāng)前云計算市場上主要組成部分。IaaS云服務(wù)將硬件基礎(chǔ)設(shè)施，包括計算資源、存儲資源、網(wǎng)絡(luò)資源等，作為一種可計量可伸縮的資源提供給客戶，我們稱之為彈性虛擬資源。彈性虛擬資源的服務(wù)性能決定了云服務(wù)的經(jīng)

2、濟成本與服務(wù)質(zhì)量，因而成為提供商和用戶共同關(guān)注的核心問題。優(yōu)化彈性資源的性能面臨著許多挑戰(zhàn)，解決這些問題不僅具有重要的學(xué)術(shù)價值，而且具有廣闊的應(yīng)用前景。
　　針對當(dāng)前IaaS云計算大規(guī)模虛擬機群部署時間較長的問題，本文提出了一種基于分布式塊設(shè)備的點對點虛擬機集群快速部署方法VMThunder，實現(xiàn)了10秒到20秒時間級的百臺數(shù)量級虛擬機集群快速部署，有效提高了部署效率。該方法的核心思想是：基于虛擬機啟動過程中的按需性、多虛擬機啟動

3、行為相似性等特點，利用塊設(shè)備系統(tǒng)的靈活映射和配置，通過虛擬機按需獲取啟動數(shù)據(jù)、在中繼節(jié)點緩存數(shù)據(jù)并對外提供與原始鏡像服務(wù)器等價服務(wù)的方法，減少了單機載入數(shù)據(jù)量，減少了存儲服務(wù)器總負(fù)載，從而達(dá)到加快部署時間的目標(biāo)。在此基礎(chǔ)上，本文針對用戶需要在虛擬機啟動后快速啟動應(yīng)用程序的需求，提出了一種基于虛擬機休眠恢復(fù)的虛擬機集群快速部署方法VMThunder+，可以在VMThunder相近時延下啟動并攜帶指定的應(yīng)用狀態(tài)。VMThunder和VMTh

4、under+在國家超算天津中心得到了實際大規(guī)模的部署和測試，實驗表明，實測160臺虛擬機的啟動總耗時與單機上啟動一臺虛擬機耗時相似，同時兩種方法均可以保證虛擬機運行態(tài)的性能。
　　在傳統(tǒng)存儲系統(tǒng)中，預(yù)讀機制對提高存儲I/O性能發(fā)揮著巨大的作用；而在分布式多虛擬抽象層存儲結(jié)構(gòu)中，預(yù)讀機制則表現(xiàn)出預(yù)讀傳遞、預(yù)讀疊加、以及預(yù)讀窗口激進展開等現(xiàn)象，帶來了網(wǎng)絡(luò)數(shù)據(jù)流量增加、阻礙序列后續(xù)請求等問題。針對該問題，本文通過實驗證實了多層預(yù)讀機制中

5、的預(yù)讀傳遞與疊加現(xiàn)象對維持整個虛擬存儲的性能是必要的；同時，本文提出了一種扇形預(yù)讀窗口展開機制來克服激進窗口展開機制帶來的數(shù)據(jù)流量陡增現(xiàn)象。該機制的主要思想是：通過建立讀請求的深度信息維護機制，使每層虛擬抽象層感知自身在整個I/O路徑上的位置，進而協(xié)同完成整體預(yù)讀窗口的展開；協(xié)同式的窗口展開方式平滑且幅度小，可以有效避免過于激進的、阻塞后續(xù)讀請求的初始預(yù)讀窗口；該協(xié)同預(yù)讀窗口的展開機制是適應(yīng)性的，可以根據(jù)不同的網(wǎng)絡(luò)延時調(diào)節(jié)窗口展開的粒度

6、。通過實驗，我們將多層體系結(jié)構(gòu)下的讀數(shù)據(jù)訪問性能提升了20％到50%。并且，讀請求中序列數(shù)量越多，激進的預(yù)讀窗口展開機制帶來的性能損耗越大，該機制發(fā)揮的作用也越大。
　　雖然在線遷移使得虛擬機的可用率可以高于物理機的可用率，但當(dāng)前虛擬機的遷移性能尚不理想。針對該問題，本文提出了面向存儲遷移問題的解耦合在線存儲遷移方法DLSM和面向內(nèi)存遷移問題的塊設(shè)備化解耦合在線遷移方法BDLM。其核心技術(shù)點是：DLSM通過塊設(shè)備系統(tǒng)的靈活映射與配

7、置，實現(xiàn)了先遷后拷（Post-Copy）技術(shù)，有效的避免了迭代拷貝臟數(shù)據(jù)與遷移收斂問題；DLSM由于在存儲層實現(xiàn)，對虛擬機透明，因此輕量地解決了已有先遷后拷方法中復(fù)雜的修改虛擬機管理器和其引發(fā)的內(nèi)存數(shù)據(jù)崩潰等衍生問題。BDLM通過氣球過充的方法來完成內(nèi)存數(shù)據(jù)的塊設(shè)備化，從而復(fù)用DLSM方法完成輕量級的內(nèi)存在線遷移，有效的減小了內(nèi)存遷移中對內(nèi)存缺頁等問題進行維護的復(fù)雜度。實驗證明：較KVM原生CSI存儲遷移方法，DLSM相比縮短了50%至