面向IaaS云計算自適應(yīng)資源管理機(jī)制.pdf

1、云計算(Cloud Computing)能通過虛擬化的方式，將系統(tǒng)內(nèi)部多樣化的異構(gòu)資源封裝成統(tǒng)一的計算資源池，并按需為用戶提供所需的計算資源，是一種面向服務(wù)的計算模式。其中，基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service,IaaS)作為云計算服務(wù)中的基礎(chǔ)服務(wù)，主要是為用戶提供按需的底層基礎(chǔ)設(shè)施資源(計算資源、存儲空間和網(wǎng)絡(luò)帶寬等）。而作為IaaS研究核心的資源管理和調(diào)度策略，對系統(tǒng)的穩(wěn)定性和服務(wù)的可靠性起著非常重

2、要的作用。
　　本文著重對IaaS中的虛擬資源管理機(jī)制，以及其在高性能應(yīng)用集群、Web服務(wù)集群中的自適應(yīng)資源分配及調(diào)度機(jī)制等方面進(jìn)行了深入研究。首先通過現(xiàn)有流行的集群、虛擬化技術(shù)、云計算平臺等相關(guān)研究，針對其資源的特點及現(xiàn)有資源管理策略中的不足，結(jié)合面向市場(Marketing-Oriented)的資源調(diào)度策略、資源協(xié)商(Negotiating)機(jī)制、資源預(yù)留(Advance Reservation)機(jī)制及自適應(yīng)機(jī)制，側(cè)重研究Ia

3、aS自適應(yīng)資源管理機(jī)制；其次，針對現(xiàn)有集群資源管理機(jī)制在網(wǎng)格應(yīng)用集群、高性能計算集群、電子商務(wù)應(yīng)用中大量使用的Web集群，對于自適應(yīng)資源協(xié)調(diào)機(jī)制所存在的不足，研究了基于云計算IaaS服務(wù)的資源分配及調(diào)度自適應(yīng)彈性管理機(jī)制。最后，由于系統(tǒng)識別部分是自適應(yīng)控制的關(guān)鍵，鑒于最小成分分析算法在自適應(yīng)系統(tǒng)識別領(lǐng)域有顯著的成效，因此本文結(jié)合目前最小成分分析算法在系統(tǒng)識別方面的特點及存在問題，研究IaaS服務(wù)的資源自適應(yīng)識別算法。
　　本文所論

4、述的研究內(nèi)容，都是本文作者在Platform公司參與網(wǎng)格和云計算方面的合作課題中所取得的研究成果，這些成果不僅納入市場上某些主流的商業(yè)項目，而且被成功、廣泛應(yīng)用到歐洲原子能(CERN)、美國國家航空航天局(NASA)等研究中心，可以保證研究具有高效性及高可用性。主要研究工作及創(chuàng)新點如下：
　　1)為了有效地管理虛擬資源，使資源使用率最大化，并能保證用戶對資源使用的有效性，本文通過對虛擬資源的劃分、預(yù)留及調(diào)度策略等方面的研究，提出了

5、一種面向虛擬資源的IaaS資源管理機(jī)制。該機(jī)制實現(xiàn)了資源的按需分配和調(diào)度，從而為用戶提供有效的IaaS服務(wù)。仿真實驗結(jié)果表明，該方法能夠提高虛擬資源的使用率及保證用戶對資源使用的有效性。
　　2)提出了一種面向網(wǎng)格化Web集群的按需IaaS資源管理機(jī)制及其分配調(diào)度策略。Web集群使用一組作為后端節(jié)點的系統(tǒng)資源，能夠有效地解決傳統(tǒng)Web服務(wù)器的負(fù)載均衡及故障恢復(fù)問題，但是到目前為止，如何使Web集群更有效地利用系統(tǒng)資源尚未見到有效的

6、解決方案。針對這一問題，本章采取一種網(wǎng)格化Web集群的思想，并針對網(wǎng)格化的Web集群后端節(jié)點制定了一種按需IaaS資源管理機(jī)制及其分配調(diào)度策略，此技術(shù)路線能夠有效地提高Web集群對資源的使用效率。
　　3)提出了一種面向高性能應(yīng)用集群的自適應(yīng)IaaS資源彈性管理機(jī)制。高性能計算(High Performance Computing，HPC)集群通過整合并利用一組計算節(jié)點的計算能力來處理大量提交到高性能應(yīng)用系統(tǒng)中的計算作業(yè)。吞吐量是

7、高性能計算機(jī)群的一個重要考察指標(biāo)，然而不恰當(dāng)?shù)娜萘恳?guī)劃及其相關(guān)的資源管理機(jī)制，將會嚴(yán)重影響高性能計算集群的吞吐量，從而降低高性能應(yīng)用集群的效率，同時還會大大浪費投入的成本。為了克服這些問題，本文所提出的彈性管理機(jī)制通過動態(tài)按需調(diào)節(jié)高性能應(yīng)用環(huán)境中異構(gòu)資源的特性，使得高性能應(yīng)用環(huán)境能夠針對等待作業(yè)進(jìn)行異構(gòu)資源的按需切換，從而減少了等待作業(yè)以提高系統(tǒng)的吞吐量、提高性能。
　　4)電子商務(wù)應(yīng)用中，Web集群能夠作為一個強(qiáng)大的Web服務(wù)器

8、來處理巨大的并發(fā)請求。然而，傳統(tǒng)的Web集群在對固有的基礎(chǔ)設(shè)施進(jìn)行預(yù)部署和預(yù)配置時，由于不適當(dāng)?shù)念A(yù)先計劃，可能會導(dǎo)致過多的成本投入或資源冗余、浪費，尤其是面對無法預(yù)計的峰值問題。因此本文首先在云計算系統(tǒng)上通過管理虛擬機(jī)來部署Web集群，以替代在固定的基礎(chǔ)設(shè)施上部署Web集群的方法，然后進(jìn)一步通過基于借入-借出(Lend-Brow)策略的資源預(yù)留機(jī)制，提出一種自適應(yīng)IaaS資源管理機(jī)制和高低水位線(low-high Water Line)

9、閾值檢測負(fù)載均衡算法，使Web集群能夠按需對集群負(fù)載進(jìn)行計算節(jié)點的自適應(yīng)調(diào)節(jié)，從而提高了資源的利用率，且有效地減少了投入成本和能耗。
　　5)提出了兩種基于遞歸最小成分分析的IaaS自適應(yīng)系統(tǒng)識別算法。由于云計算系統(tǒng)資源的動態(tài)性，及自適應(yīng)控制研究對象的不確定性，常規(guī)反饋調(diào)節(jié)機(jī)制的效果往往難以令人滿意。針對自適應(yīng)調(diào)節(jié)的不確定性所造成的系統(tǒng)波動，需要一個高效、精確的系統(tǒng)識別算法，從而為動態(tài)變化的系統(tǒng)負(fù)載提供預(yù)測的計算資源。近來最小成分