云計(jì)算的集群與分布式

1、<p>　　云計(jì)算的集群與分布式</p><p><b>　　摘要</b></p><p>　　盡管我們已經(jīng)有了高速的個(gè)人計(jì)算機(jī)，盡管我們有了儲(chǔ)存大量信息的網(wǎng)絡(luò)，但是隨著社會(huì)的發(fā)展我們對(duì)其的要求也越來越高，為了滿足越來越高的需求水平并降低升級(jí)的成本，一個(gè)新的觀念出現(xiàn)了，并為IT業(yè)的發(fā)展指明了方向，這就是“云計(jì)算”。</p><p>　

2、　無疑，近年來，云計(jì)算已經(jīng)成為最熱門的技術(shù)話題之一，云計(jì)算技術(shù)已經(jīng)成為了繼個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)之后出現(xiàn)的第三次技術(shù)革命浪潮。國家“十二五”規(guī)劃綱要和《國務(wù)院關(guān)于培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的決定》均把“云計(jì)算”作為新一代信息技術(shù)的重要組成部分。由此可見“云計(jì)算”重要性和發(fā)展云計(jì)算的必要性。</p><p>　　本文將從云計(jì)算組成的角度來粗淺的介紹云計(jì)算的概念。</p><p>　　關(guān)鍵詞 集群技

3、術(shù)與虛擬化，并行計(jì)算技術(shù)，分布式文件系統(tǒng)</p><p>　　The Cluster and Distributed of Cloud Computing</p><p><b>　　Abstract</b></p><p>　　Although we have a high-speed personal computer,

4、although we have a network that can store a large amount of information network, but along with the social development,we requirements of its increasingly high ,in order to meet the increasingly high demand and reduce th

5、e cost of upgrading, a new concept emerged, and the development of IT industry specified the direction, this is the "cloud computing".</p><p>　　Undoubtedly, in recent years, cloud computing has bec

6、ome one of the hottest topics in technology, cloud computing has become the following personal computers,the Internet of the third technology revolution. The national "The Plan of Twelfth Five Year" to "cl

7、oud computing" is an important part of a new generation of information technology. We can see the importance of cloud computing and the necessity for the development of cloud computing.</p><p>　　This pa

8、per will describe the concept of cloud computing from the view of the component of cloud computing .</p><p>　　Keywords　Cluster and Virtualization technology Parallel computing technology Distributed file

9、system</p><p>　　不要?jiǎng)h除行尾的分節(jié)符，此行不會(huì)被打印</p><p><b>　　目錄</b></p><p><b>　　摘要I</b></p><p>　　AbstractII</p><p><b>　　第1章 緒論3</b>

10、;</p><p>　　1.1 課題背景3</p><p>　　1.2 什么是云計(jì)算3</p><p>　　1.3 云計(jì)算的基本技術(shù)3</p><p>　　第2章 集群技術(shù)與虛擬化4</p><p>　　2.1 集群技術(shù)4</p><p>　　2.1.1 高可用性集群4</p&

11、gt;<p>　　2.1.2 負(fù)載均衡性集群5</p><p>　　2.2 虛擬化技術(shù)7</p><p>　　2.2.1 CPU的虛擬化7</p><p>　　2.2.2 內(nèi)存虛擬化10</p><p>　　2.2.3 I/O虛擬化11</p><p>　　2.3 虛擬化集群12</p&

12、gt;<p>　　2.3.1 虛擬化集群總體框架12</p><p>　　2.3.2 vCenter13</p><p>　　2.3.3 vServer14</p><p>　　2.4 本章小結(jié)15</p><p>　　第3章 分布式并行計(jì)算技術(shù)16</p><p>　　3.1 分布式并行計(jì)算概

13、述16</p><p>　　3.2 OpenMP17</p><p>　　3.3 MPI18</p><p>　　3.4 Erlang19</p><p>　　3.5 本章小結(jié)21</p><p>　　第4章 分布式文件系統(tǒng)22</p><p>　　4.1 文件系統(tǒng)22</p

14、><p>　　4.2 體系結(jié)構(gòu)22</p><p>　　4.2.1 數(shù)據(jù)訪問方式23</p><p>　　4.2.2 系統(tǒng)服務(wù)器的結(jié)構(gòu)23</p><p>　　4.2.3 分布式文件系統(tǒng)關(guān)鍵技術(shù)24</p><p><b>　　結(jié)論27</b></p><p><

15、;b>　　致謝29</b></p><p><b>　　參考文獻(xiàn)30</b></p><p><b>　　緒論</b></p><p><b>　　課題背景</b></p><p>　　技術(shù)是云計(jì)算發(fā)展的基礎(chǔ)。首先是云計(jì)算自身核心技術(shù)的發(fā)展，如：硬件技術(shù)，

16、虛擬化技術(shù)，并行編程模型、海量數(shù)據(jù)分布存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)、云平臺(tái)管理技術(shù)；其次是云計(jì)算賴以存在的移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，如：高速、大容量的網(wǎng)絡(luò)，無處不在的接入，靈活多樣的終端，集約化的數(shù)據(jù)中心，WEB技術(shù)。</p><p>　　可以將云計(jì)算理解為八個(gè)字"按需即用、隨需應(yīng)變"，使之實(shí)現(xiàn)的各項(xiàng)技術(shù)已基本成熟。</p><p><b>　　什么是云計(jì)算<

17、/b></p><p>　　云計(jì)算是通過使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將與互聯(lián)網(wǎng)更相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。</p><p>　　按照云計(jì)算的服務(wù)層次可以把云計(jì)算服務(wù)分為基礎(chǔ)設(shè)施即服務(wù)（IaaS），平臺(tái)即服務(wù)（PaaS）和軟件即服務(wù)（SaaS）。</p><p&g

18、t;　　IaaS：基礎(chǔ)設(shè)施即服務(wù)</p><p>　　IaaS(Infrastructure-as-a- Service)：基礎(chǔ)設(shè)施即服務(wù)。消費(fèi)者通過Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。</p><p>　　PaaS：平臺(tái)即服務(wù)</p><p>　　PaaS(Platform-as-a- Service)：平臺(tái)即服務(wù)。PaaS實(shí)際上是指將軟件研發(fā)的平

19、臺(tái)作為一種服務(wù)，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。</p><p>　　SaaS：軟件即服務(wù)</p><p>　　SaaS(Software-as-a- Service)：軟件即服務(wù)。它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件

20、，來管理企業(yè)經(jīng)營活動(dòng)。</p><p><b>　　云計(jì)算的基本技術(shù)</b></p><p>　　高可靠的集群技術(shù)與虛擬化，并行計(jì)算技術(shù)，分布式文件系統(tǒng)</p><p><b>　　集群技術(shù)與虛擬化</b></p><p><b>　　集群技術(shù)</b></p>&

21、lt;p>　　集群技術(shù)就是將多臺(tái)服務(wù)器用集群軟件連接在一起，組成一個(gè)高度透明的大型服務(wù)器群的計(jì)算機(jī)系統(tǒng)，作為一個(gè)整體為客戶端提供服務(wù)，客戶 端能共享網(wǎng)絡(luò)上的所有資源，如數(shù)據(jù)或應(yīng)用軟件等，同時(shí)客戶端的用戶并不關(guān)心其應(yīng)用Server運(yùn)行在那臺(tái)服務(wù)器上，只關(guān)心其應(yīng)用Server是否能連續(xù)工作。當(dāng)集群系統(tǒng)內(nèi)某一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，其備援服務(wù)器便立即接管該故障服務(wù)器的應(yīng)用服務(wù)，繼續(xù)為前端的用戶提供服務(wù)。從客戶端看來，集群中的所有服務(wù)器是一

22、個(gè)系統(tǒng)，就像一臺(tái)大型的計(jì)算機(jī)系統(tǒng)，其上運(yùn)行著客戶端需要的應(yīng)用服務(wù)。集群系統(tǒng)能夠保證用戶的業(yè)務(wù)是連續(xù)的并且具有持續(xù)可用的特性，即具有7x24 的可用性，從而將系統(tǒng)停止運(yùn)行的時(shí)間降到了最低，提供了高可靠性的保障。</p><p>　　從客戶端看來，集群中所有的服務(wù)器是一個(gè)整體，就像一臺(tái)大型的計(jì)算機(jī)，為了完成一些普通計(jì)算機(jī)或服務(wù)器難以勝任的計(jì)算密集型應(yīng)用，集群可以可以集中幾十臺(tái)甚至成百上千臺(tái)計(jì)算機(jī)服務(wù)器的計(jì)算能力來提供

23、更高的計(jì)算能力。</p><p>　　用戶若想擴(kuò)展系統(tǒng)能力性能，往往不得不購買更高性能的服務(wù)器并停止系統(tǒng)運(yùn)行來更新設(shè)備，但是采用集群技術(shù)的話，只需將新的服務(wù)器加入集群中，并不需要停機(jī)和極其昂貴的服務(wù)器，通過大量性價(jià)比高的服務(wù)器的疊加和集合就可以做的更出色，大大提高了系統(tǒng)的可擴(kuò)展性并大大降低了成本。</p><p>　　集群技術(shù)在提高性能、增強(qiáng)可靠性的同時(shí)提供了更好的可擴(kuò)展能力和更低的成本。

24、</p><p><b>　　高可用性集群</b></p><p>　　在一年之內(nèi)可達(dá)99．99％可用性時(shí)，這樣的集群系統(tǒng)我們稱為高可用性的集群系統(tǒng)。</p><p>　　可用性：當(dāng)用戶需要數(shù)據(jù)和服務(wù)時(shí)，計(jì)算機(jī)能夠根據(jù)請(qǐng)求完成響應(yīng)則定義為可用性。可用性是以百分比形式表示的一種系統(tǒng)正常工作的時(shí)間。高可用性系統(tǒng)是由集群軟件監(jiān)控、具有多臺(tái)服務(wù)器互相冗

25、余的系統(tǒng)。此系統(tǒng)通過集群軟件提供的故障監(jiān)測(cè)和故障處理能力，可提供業(yè)務(wù)連續(xù)性的能力。高可用性系統(tǒng)的主要目的是將計(jì)劃內(nèi)及計(jì)劃外宕機(jī)時(shí)間減少到最少；其次是減少恢復(fù)一個(gè)失敗系統(tǒng)的時(shí)間，即應(yīng)在最短的時(shí)間內(nèi)恢復(fù)系統(tǒng)。的運(yùn)行。高可用性即確保計(jì)算機(jī)系統(tǒng)的運(yùn)行時(shí)間達(dá)到99．99％。</p><p>　　容錯(cuò)系統(tǒng)： 是由一臺(tái)計(jì)算機(jī)系統(tǒng)采用專用的、昂貴的和有復(fù)制功能的設(shè)備組成的系統(tǒng)。如計(jì)算機(jī)內(nèi)部采用特殊的雙主機(jī)板、CPU鎖步運(yùn)行、冗余

26、磁盤、專有的操作系統(tǒng)等。它是為防止系統(tǒng)出錯(cuò)、獲得較高可用性的一種方法。容錯(cuò)性是整個(gè)操作系統(tǒng)統(tǒng)籌設(shè)計(jì)的一個(gè)功能，系統(tǒng)完全自發(fā)、自動(dòng)響應(yīng)系統(tǒng)故障，并提供不問斷服務(wù)。 </p><p>　　高可用性的集群系統(tǒng)主要包括以下幾方面硬件組件： </p><p>　　服務(wù)器組：在高可用性的集群系統(tǒng)中每個(gè)節(jié)點(diǎn)的服務(wù)器必須有自己的 CPU、內(nèi)存和磁盤。每個(gè)服務(wù)器節(jié)點(diǎn)的磁盤是用于安裝操作系統(tǒng)和集群軟件程序。

27、</p><p>　　對(duì)外提供服務(wù)的網(wǎng)路：集群系統(tǒng)中的服務(wù)器一般采用TCP／IP網(wǎng)絡(luò)協(xié)議 與客戶端相連。每個(gè)服務(wù)器上都有自己的應(yīng)用服務(wù)，客戶端必須通過集群服務(wù)器 中的網(wǎng)絡(luò)通路來得到自己的服務(wù)。</p><p>　　心跳信號(hào)通路：在高可用性的集群系統(tǒng)中每個(gè)節(jié)點(diǎn)必須有心跳接口，用于服務(wù)器節(jié)點(diǎn)之間互相監(jiān)視和通信，以取得備援服務(wù)器的工作狀態(tài)。 </p><p>　　數(shù)據(jù)共享

28、磁盤：在高可用性的集群系統(tǒng)中由于運(yùn)行的都是關(guān)鍵業(yè)務(wù)，故 使用的存儲(chǔ)服務(wù)器都應(yīng)是企業(yè)級(jí)的存儲(chǔ)服務(wù)器，這些存儲(chǔ)服務(wù)器應(yīng)具有先進(jìn)技術(shù) 來保障其數(shù)據(jù)安全。一般數(shù)據(jù)放在企業(yè)級(jí)的存儲(chǔ)服務(wù)器的共享磁盤的空間中，它 是各服務(wù)器節(jié)點(diǎn)之間維持?jǐn)?shù)據(jù)～致性的橋梁，各服務(wù)器節(jié)點(diǎn)在集群軟件的控制下 不會(huì)同時(shí)訪問共享磁盤。</p><p><b>　　負(fù)載均衡性集群</b></p><p>　　當(dāng)

29、前，無論在局域網(wǎng)還是在廣域網(wǎng)上，業(yè)務(wù)量的發(fā)展都超出了過去最樂觀的估計(jì)，即使按照當(dāng)時(shí)最優(yōu)配置建設(shè)的網(wǎng)絡(luò)，也很快會(huì)感到吃不消。尤其是各個(gè)網(wǎng)絡(luò)的核心部分，其數(shù)據(jù)流量和計(jì)算強(qiáng)度之大，使得單一設(shè)備根本無法承擔(dān)，而如何在完成同樣功能的多個(gè)設(shè)備之間實(shí)現(xiàn)合理的業(yè)務(wù)量分配，使之不致于出現(xiàn)一臺(tái)設(shè)備過忙、而別的設(shè)備卻未充分發(fā)揮處理能力的情況，負(fù)載均衡集群機(jī)制也因此應(yīng)運(yùn)而生。負(fù)載均衡建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，它提供了一種廉價(jià)有效的方法擴(kuò)展服務(wù)器帶寬和增加吞吐量，

30、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。它為用戶提供更好的訪問質(zhì)量；提高服務(wù)器響應(yīng)速度；提高服務(wù)器及其他資源的利用效率避避，免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點(diǎn)失效。</p><p>　　負(fù)載均衡又可以分為靜態(tài)負(fù)載均衡和動(dòng)態(tài)負(fù)載均衡。</p><p>　　靜態(tài)負(fù)載均衡：它只是把有可能擁塞于一個(gè)服務(wù)器的負(fù)載交給多個(gè)服務(wù)器分擔(dān)。就像輪流值日制度，把任務(wù)分給大家來完成，以免讓一臺(tái)服務(wù)器超負(fù)荷運(yùn)算。不

31、過，這種意義上的均衡一般是靜態(tài)的，也就是事先確定的“輪值”策略。</p><p>　　動(dòng)態(tài)負(fù)載均衡：它是通過一些工具實(shí)時(shí)地分析數(shù)據(jù)包，掌握網(wǎng)絡(luò)中的數(shù)據(jù)流量狀況，把任務(wù)合理分配出去。結(jié)構(gòu)上分為本地負(fù)載均衡和地域負(fù)載均衡(全局負(fù)載均衡)，前一種是指對(duì)本地的服務(wù)器集群做負(fù)載均衡，后 一種是指對(duì)分別放置在不同的地理位置、在不同的網(wǎng)絡(luò)及服務(wù)器群集之間作負(fù)載均衡。 在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，負(fù)載均衡提供了一種廉價(jià)有效的方法擴(kuò)展服務(wù)

32、器帶寬和增加吞吐量，加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。它主要解決網(wǎng)絡(luò)擁塞問題，服務(wù)就近提供，實(shí)現(xiàn)地理位置無關(guān)性；為用戶提供更好的訪問質(zhì)量，提高服務(wù)器響應(yīng)速度，提高服務(wù)器及其他資源的利用效率，避免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點(diǎn)失效。</p><p>　　負(fù)載均衡集群通常采用專門的負(fù)載均衡路，負(fù)載均衡器通過虛擬IP 地址方法，解決了輪流排程所面臨的許多問題。使用了負(fù)載均衡器的集群系統(tǒng)，在外部看來，像是具有一個(gè)

33、IP 地址的單一服務(wù)器一樣，當(dāng)然，這個(gè) IP 地址是虛擬的，它映射了集群中的每一臺(tái)機(jī)器的地址。所以，在某種程度上，負(fù)載均衡器是將整個(gè)集群的IP 地址報(bào)漏給外部網(wǎng)絡(luò)。當(dāng)請(qǐng)求到達(dá)負(fù)載均衡器時(shí)，它會(huì)重寫該請(qǐng)求的頭文件，并將之指定到集群中的機(jī)器上。如果某臺(tái)機(jī)器被從集群中移除了，請(qǐng)求不會(huì)別發(fā)往已經(jīng)不存在的服務(wù)器上，因?yàn)樗械臋C(jī)器表面上都具有同一個(gè) IP 地址，即使集群中的某個(gè)節(jié)點(diǎn)被移除了，該地址也不會(huì)發(fā)生變化。而且， internet 上緩存的

34、DNS 條目也不再是問題了。當(dāng)返回一個(gè)應(yīng)答時(shí)，客戶端看到的只是從負(fù)載均衡器上所返回的結(jié)果。也就是說，客戶端操作的對(duì)象是負(fù)載均衡器，對(duì)于其更后端的操作，對(duì)客戶端來講，是完全透明的。</p><p>　　負(fù)載均衡路由設(shè)備由于采用了特殊的硬件結(jié)構(gòu)及專門開發(fā)的配置軟件，通常易于配置及管理，性能較好，但是其價(jià)格較高</p><p><b>　　負(fù)載均衡器的優(yōu)點(diǎn)：</b><

35、/p><p>　　通過故障恢復(fù)機(jī)制獲得高可靠性。某一故障發(fā)生在當(dāng)集群中某個(gè)節(jié)點(diǎn)不能處理請(qǐng)求，需將請(qǐng)求重新導(dǎo)向到其他節(jié)點(diǎn)時(shí)，負(fù)載均衡器會(huì)將之發(fā)送到集群中其他的節(jié)點(diǎn)上。</p><p>　　便于統(tǒng)計(jì)計(jì)量。 既然所有的請(qǐng)求都經(jīng)過負(fù)載均衡器，那么系統(tǒng)就可以確定活動(dòng)的數(shù)量，在任何實(shí)例訪問中的活動(dòng)的數(shù)目，應(yīng)答的次數(shù)，高峰負(fù)載次數(shù)，以及在高峰期和低谷期的會(huì)話的數(shù)目，還有其他更多的。所有的這些統(tǒng)計(jì)信息都可以被

36、很好的用來調(diào)整整個(gè)系統(tǒng)的性能。</p><p>　　負(fù)載均衡器的缺點(diǎn)在于費(fèi)用、復(fù)雜性以及單點(diǎn)失敗的。由于所有的請(qǐng)求均是通過硬件負(fù)載均衡器來傳遞，因此，負(fù)載均衡器上的任何故障都將導(dǎo)致整個(gè)站點(diǎn)的崩潰而且負(fù)載均衡器將會(huì)成為整個(gè)系統(tǒng)性能提升的瓶頸。</p><p><b>　　虛擬化技術(shù)</b></p><p>　　隨著近年集群、網(wǎng)格甚至云計(jì)算的廣泛部

37、署，虛擬化技術(shù)在商業(yè)應(yīng)用上的優(yōu)勢(shì)日益體現(xiàn)，不僅降低了 IT 成本，而且還增強(qiáng)了系統(tǒng)安全性和可靠性，虛擬化的概念也逐漸深入到人們?nèi)粘５墓ぷ髋c生活中。</p><p>　　虛擬機(jī)管理器(VMM)是整個(gè)虛擬機(jī)系統(tǒng)的核心，它承擔(dān)了資源的調(diào)度、分配和管理、保證多個(gè)虛擬機(jī)能夠相互隔離的同時(shí)運(yùn)行多個(gè)客戶操作系統(tǒng)。虛擬機(jī)管理器運(yùn)行在硬件平臺(tái)之上，操作系統(tǒng)之下，不同的系統(tǒng)需求有不同的實(shí)現(xiàn)方式。 </p><p&

38、gt;　　虛擬機(jī)管理器主要包括對(duì)CPU的虛擬化，對(duì)內(nèi)存的虛擬化，對(duì)I/O的虛擬化。</p><p><b>　　CPU的虛擬化</b></p><p>　　CPU的虛擬化是為每個(gè)虛擬機(jī)提供一個(gè)或多個(gè)虛擬CPU(virtual CPU，VCPU)。多個(gè)虛擬CPU分時(shí)復(fù)用物理CPU，任意時(shí)刻一個(gè)CPU只能被一個(gè)虛擬CPU使用。VMM必須為各個(gè)虛擬CPU合理分配時(shí)間片并維護(hù)

39、所有虛擬CPU 的狀態(tài)，當(dāng)一個(gè)虛擬CPU的時(shí)間片用完需要切換時(shí)，要保存當(dāng)前虛擬CPU狀態(tài)，將被調(diào)度的虛擬CPU的狀態(tài)載入物理CPU。</p><p>　　因此VMM對(duì)于CPU虛擬化需要解決一下兩個(gè)問題：</p><p>　　（1）虛擬CPU的正確運(yùn)行。</p><p>　　（2）虛擬CPU的調(diào)度。</p><p>　　虛擬CPU正確運(yùn)行的關(guān)鍵

40、是保證虛擬機(jī)的指令正確執(zhí)行并且保證各個(gè)虛擬機(jī)之間不互相影響?，F(xiàn)有的實(shí)現(xiàn)技術(shù)包括模擬執(zhí)行和監(jiān)控執(zhí)行。模擬執(zhí)行是指由VMM模擬所有指令的運(yùn)行效果，包括解釋執(zhí)行和二進(jìn)制代碼翻譯。通常用在物理機(jī)器指令集與虛擬機(jī)指令集不同的情況下，模擬執(zhí)行方式效率較低。監(jiān)控執(zhí)行是指虛擬機(jī)的絕大部分指令都能在物理主機(jī)上直接執(zhí)行，少量可能影響虛擬機(jī)運(yùn)行或影響其他虛擬機(jī)狀態(tài)的指令，必須由VMM監(jiān)控并模擬其執(zhí)行效果，監(jiān)控執(zhí)行方式效率較高，在理想狀態(tài)下，虛擬機(jī)甚至可以達(dá)到

41、接近物理主機(jī)的速度。</p><p>　　虛擬CPU的調(diào)度是指由VMM決定當(dāng)前哪一個(gè)虛擬CPU實(shí)際在物理CPU上運(yùn)行。虛擬CPU的調(diào)度除了保證虛擬機(jī)之間的性能隔離性，還應(yīng)該保證虛擬CPU 的性能，保證調(diào)度的公平性：要考慮調(diào)度算法既能夠充分利用物理CPU資源，又能實(shí)現(xiàn)精確的CPU資源分配；要根據(jù)虛擬機(jī)上運(yùn)行的應(yīng)用服務(wù)的特點(diǎn)以及虛擬機(jī)之間的依賴關(guān)系合理調(diào)度虛擬CPU。</p><p>　　對(duì)運(yùn)

42、行虛擬機(jī)的環(huán)境來說，有如下調(diào)度需求：</p><p>　　充分利用CPU資源：為了減小虛擬化的性能開銷，使虛擬機(jī)盡可能接近物理主機(jī)的性能，調(diào)度算法需要保證物理CPU資源能充分利用，不浪費(fèi)任何處理器周期。因此，通常采用連續(xù)工作型調(diào)度算法。 </p><p>　　性能隔離：VCPU的調(diào)度必須保證一個(gè)VCPU的運(yùn)行不會(huì)影響其他VCPU的性能。</p><p>　　考慮虛擬

43、機(jī)之間的不對(duì)等：目前虛擬機(jī)常見的應(yīng)用是服務(wù)器整合，可以把若干應(yīng)用服務(wù)器合并在一臺(tái)物理主機(jī)上分別作為不同的虛擬機(jī)同時(shí)運(yùn)行。這些虛擬機(jī)可能有不同的應(yīng)用特點(diǎn)， 例如，交互／批處理，I／O密集／計(jì)算密集等，VCPU的調(diào)度策略必須考慮這些虛擬機(jī)之間的不對(duì)等。</p><p>　　常用的VCPU的調(diào)度算法有：BVT算法，sEDF算法，credit算法。</p><p><b>　　BVT算法

44、 </b></p><p>　　BVT(Borrowed VirtualTime)算法：BVT是一種公平性優(yōu)先的調(diào)度算法。該算法將時(shí)間分為實(shí)際時(shí)間和虛擬時(shí)間:真實(shí)時(shí)間為硬件計(jì)時(shí)器記錄的時(shí)間;虛擬時(shí)間為對(duì)真實(shí)時(shí)間經(jīng)過某種規(guī)則計(jì)算后得到的時(shí)間值。</p><p>　　該算法用虛擬時(shí)間來監(jiān)控進(jìn)程的執(zhí)行時(shí)間，每次總是調(diào)度具有最早的有效虛擬時(shí)間的VCPU。這種調(diào)度算法允許這些操作系統(tǒng)“借

45、”一些時(shí)間片，就是說：在一定范圍內(nèi)將未來分配給它運(yùn)行的時(shí)間片先“借”過來用一段時(shí)間。這種“借”過來的虛擬時(shí)間片只能是當(dāng)前真實(shí)的時(shí)間片中的某個(gè)虛擬時(shí)間片，不能借下一個(gè)真實(shí)時(shí)間片中的虛擬時(shí)問片。在系統(tǒng)初始化時(shí)，每個(gè)VCPU將分配一個(gè)權(quán)值來代表該VCPU能獲得的處理器份額。VCPU根據(jù)其權(quán)值來實(shí)現(xiàn)處理器的公平共享。系統(tǒng)用實(shí)際虛擬時(shí)間和有效虛擬時(shí)間來記錄VCPU運(yùn)行狀態(tài)。其計(jì)算方式如下：</p><p>　　每一個(gè)VCP

46、U維護(hù)一組狀態(tài)：<Et，At，Wt，warpBackt>，其中：Et表示它某時(shí)刻t的EVT； At表示它實(shí)際的virtual time；Wt表示它可以借的virtual time； warpBackt表示是否允許借virtual time。 </p><p>　　當(dāng)選擇下一個(gè)要運(yùn)行的VCPU時(shí)，選擇Et最小的VCPU，Et按照下式計(jì)算：Et=At-(warpBackt?Wt：0)</p>

47、<p>　　若是延遲敏感的VCPU，warpBackt是1，需要從實(shí)際的At減去一個(gè)Wt值，從而能夠獲得較小的Et，使得能較早執(zhí)行。</p><p><b>　　BVT的優(yōu)缺點(diǎn)：</b></p><p>　　BVT調(diào)度算法的優(yōu)點(diǎn)在于可以將物理時(shí)間片公平、均勻地分配兩次被調(diào)度的時(shí)間間隔不會(huì)超過一個(gè)真實(shí)的時(shí)間片；能夠滿足I/O密集型和實(shí)時(shí)應(yīng)用的低時(shí)延要求，能較

48、好地調(diào)度某些實(shí)時(shí)性要求比較高的操作系統(tǒng)；在單CPU和多CPU環(huán)境下的調(diào)度開銷都比較小。</p><p>　　BVT調(diào)度算法的缺點(diǎn)：</p><p>　　首先，每當(dāng)當(dāng)前虛擬機(jī)被加載運(yùn)行時(shí)，它將獲得整個(gè)CPU。用戶不能把某個(gè)將某個(gè)虛擬機(jī)對(duì)CPU的使用限制在某個(gè)比例以下。其次，每個(gè)虛擬機(jī)只能借用分給它的時(shí)間片部分，而不會(huì)剝奪其他虛擬機(jī)的時(shí)間片。即當(dāng)確定了各個(gè)虛擬機(jī)的時(shí)間片分配比例后，這個(gè)比例在下

49、次分配之前不會(huì)改變。</p><p><b>　　sEDF算法</b></p><p>　　簡(jiǎn)單最小時(shí)限調(diào)度sEDF(simple Earliest Deadline First) 源于EDF(Earliest Deadline First)算法是一種動(dòng)態(tài)調(diào)度算法，用于實(shí)時(shí)操作系統(tǒng)中。</p><p>　　他將所有任務(wù)放在優(yōu)先級(jí)隊(duì)列中，當(dāng)發(fā)生調(diào)

50、度事件時(shí) (如任務(wù)結(jié)束、新任務(wù)加入等)，從隊(duì)列中找出時(shí)限最短的任務(wù)并調(diào)度運(yùn)行。sEDF是一種最小時(shí)限調(diào)度算法，它為每個(gè)VCPU設(shè)置一個(gè)三元組(s，p，x)，其中s，p指的是在p毫秒內(nèi)，虛擬機(jī)至少運(yùn)行s毫秒，而x指的是如果在p時(shí)間片內(nèi)，還有空余時(shí)間的話，是否允許該VCPU占用這些空余的時(shí)間片；而每個(gè)VCPU都有一個(gè)“最遲調(diào)度時(shí)間”(例如，0-100ms這個(gè)時(shí)間片內(nèi)，若VCPU至少運(yùn)行30ms那么它的最遲運(yùn)行時(shí)間是70ms)，sEDF用一個(gè)

51、隊(duì)列管理所有當(dāng)前周期內(nèi)還有可運(yùn)行時(shí)間的VCPU，這些VCPU按照時(shí)限遞增排列；用一個(gè)等待隊(duì)列管理當(dāng)前周期的運(yùn)行時(shí)間已用完的VCPU，這些VCPU按照下一周期的開始時(shí)間遞增排列。每次調(diào)度時(shí)，從可運(yùn)行隊(duì)列頭取得可以運(yùn)行的VCPU。如果虛擬機(jī) A還在運(yùn)行，虛擬機(jī) B的調(diào)度時(shí)間片已經(jīng)到來，那么sEDF將選用虛擬機(jī)B進(jìn)行調(diào)度。</p><p><b>　　sEDF的優(yōu)缺點(diǎn)：</b></p>

52、<p>　　sEDF調(diào)度算法是根據(jù)任務(wù)滿足截止期限的緊迫性，來修改任務(wù)的優(yōu)先級(jí)，以保證最緊迫的任務(wù)能夠及時(shí)完成。當(dāng)系統(tǒng)的負(fù)載相對(duì)較低時(shí)，這種算法非常有效；但是當(dāng)系統(tǒng)負(fù)載極端沉重時(shí)，這就會(huì)使大量的任務(wù)發(fā)生時(shí)間錯(cuò)誤，因此很可能使一些進(jìn)程來不及處理而夭折。在sEDF算法中，一旦VCPU的調(diào)度參數(shù)被初始化后，就不能根據(jù)該VCPU的運(yùn)行狀況進(jìn)行修改。</p><p>　　sEDF算法同時(shí)支持連續(xù)工作和斷續(xù)工作

53、模式，在斷續(xù)工作模式下可以精確限定某個(gè)虛擬機(jī)使用的CPU資源比例，即使沒有其他虛擬機(jī)運(yùn)行，該虛擬機(jī)也只能使用一定的CPU資源。sEDF并不支持全局(多個(gè)CPU情況下)的負(fù)載均衡。例如存在如下分配：</p><p>　　分配CPU1: VCPU-1-- 80% CPU，分配CPU2: VCPU-2-- 80% CPU，如果 此時(shí)有VCPU3，需要30% CPU 空間，那么VCPU3將無法被分配和加載。即使兩個(gè)CPU

54、的剩余部分相加起來足夠VCPU3的使用，但是由于每個(gè)CPU的剩余部分都不足，VCPU3只能等待。</p><p>　　credit基于額度的調(diào)度算法 </p><p>　　每個(gè)CPU管理一個(gè)本地可運(yùn)行的VCPU隊(duì)列，該隊(duì)列根據(jù)VCPU的優(yōu)先級(jí)排序，每個(gè)VCPU的優(yōu)先級(jí)可能是over或者under，表示該VCPU當(dāng)前是否已經(jīng)透支了它應(yīng)該分配到的CPU資源。當(dāng)一個(gè)VCPU被放入一個(gè)運(yùn)行隊(duì)列時(shí)，

55、將其插在相同優(yōu)先級(jí)的VCPU后面。 一個(gè)VCPU運(yùn)行時(shí)，將消耗它的CPU額度。每隔一段時(shí)間，由一個(gè)結(jié)算線程重新計(jì)算每個(gè)VCPU消耗了或者獲得了多少額度。當(dāng)額度為負(fù)時(shí)，則將優(yōu)先級(jí)改為over；直到一段時(shí)間以后，額度又積累為整數(shù)，則優(yōu)先級(jí)變?yōu)閡nder， 每結(jié)算一次，則運(yùn)行隊(duì)列要重排一次。當(dāng)一個(gè)VCPU的時(shí)間片用完或被阻塞時(shí)，排在CPU的運(yùn)行隊(duì)列頭的VCPU 將被調(diào)度運(yùn)行。若此時(shí)該CPU的運(yùn)行隊(duì)列中沒有優(yōu)先級(jí)為under的VCPU，則將從其

56、它CPU的運(yùn)行隊(duì)列中尋找一個(gè)under的VCPU，也就是說，當(dāng)一個(gè)CPU空閑時(shí)，將運(yùn)行等待其它CPU的VCPU。這一策略保證了虛擬機(jī)共享整個(gè)物理主機(jī)的資源，也保證了在整個(gè)物理主機(jī)環(huán)境內(nèi)所有CPU的負(fù)載均衡，也保證了對(duì)系統(tǒng)資源的充分利用：當(dāng)系統(tǒng)中有可運(yùn)行的VCPU時(shí)，不會(huì)有任何一個(gè)CPU空閑。 </p><p><b>　　內(nèi)存虛擬化</b></p><p>　　內(nèi)存虛

57、擬化是VMM的重要功能之一。VMM通常采用分塊共享的思想來虛擬計(jì)算機(jī)的物理內(nèi)存。也就是說，VMM需要將機(jī)器的內(nèi)存分配給各個(gè)虛擬機(jī)，并維護(hù)機(jī)器內(nèi)存和虛擬機(jī)所見到的“物理內(nèi)存"的映射關(guān)系，使得這些內(nèi)存在虛擬機(jī)看來是一段從地址0開始的、連續(xù)的物理地址空間?，F(xiàn)代計(jì)算機(jī)通常都具備內(nèi)存分頁保護(hù)機(jī)制，這給VMM進(jìn)行內(nèi)存虛擬化提供了必要的硬件支持，因?yàn)閂MM能夠以頁面為單位建立虛擬地址到機(jī)器地址的映射關(guān)系，并利用頁面權(quán)限設(shè)置實(shí)現(xiàn)不同虛擬機(jī)間內(nèi)

58、存的隔離和保護(hù)。但是，由于客戶操作系統(tǒng)本身也會(huì)進(jìn)行葉式內(nèi)存管理，虛擬機(jī)與傳統(tǒng)計(jì)算機(jī)相比，其內(nèi)存系統(tǒng)多了一種地址，共包括以下3種地址： </p><p>　　(1)機(jī)器地址(machine address) 指真實(shí)硬件的機(jī)器地址，即地址總線上應(yīng)該出現(xiàn)的地址信號(hào)。</p><p>　　(2)物理地址(physical address) 指經(jīng)過VMM抽象的、虛擬機(jī)所看到的偽物理地址。 </

59、p><p>　　(3)虛擬地址(virtual address) 指虛擬機(jī)提供給其應(yīng)用程序使用的線性地址空間。 </p><p>　　顯然，VMM的內(nèi)存模塊負(fù)責(zé)完成物理地址到機(jī)器地址的映射，將這個(gè)映射記為f；虛擬機(jī)的內(nèi)存管理模塊要完成虛擬地址到物理地址的映射，將這個(gè)映射記為g，則虛擬地址、物理地址和真實(shí)地址之間的關(guān)系如圖2-1所示。</p><p>　　圖2-1虛擬地址

60、、物理地址、真實(shí)地址的關(guān)系</p><p>　　機(jī)器地址、物理地址和虛擬地址在上圖中，虛擬機(jī)會(huì)把虛擬地址映射到物理地址，而VMM再進(jìn)一步把物理地址映射到機(jī)器地址。在兩個(gè)不同的虛擬機(jī)中的進(jìn)程，分別有一個(gè)頁表(page table)進(jìn)行地址轉(zhuǎn)換。頁表將進(jìn)程的虛擬地址轉(zhuǎn)換為物理地址。為了將物理地址轉(zhuǎn)為最終使用的機(jī)器地址，虛擬機(jī)管理器維護(hù)著從物理地址到機(jī)器地址的真正的頁表。如圖所示。</p><p&g

61、t;　　為了使虛擬機(jī)系統(tǒng)具有更好的伸縮性和可擴(kuò)展性，在充分保證虛擬機(jī)訪問內(nèi)存的性能的前提下，提出了理想的VMM應(yīng)該提供以下一些內(nèi)存管理功能：</p><p>　　按需取頁只有當(dāng)虛擬機(jī)真正需要的時(shí)候，VMM才將物理內(nèi)存分配給它，而不是簡(jiǎn)單地將固定大小的內(nèi)存空間劃分給虛擬機(jī)。按需取頁能夠提高內(nèi)存資源的利用率。 </p><p>　　虛擬存儲(chǔ) VMM能夠利用交換(swap)等技術(shù)，給虛擬機(jī)提供超

62、過實(shí)際機(jī)器內(nèi)存大小的內(nèi)存空間。虛擬機(jī)上的操作系統(tǒng)能夠像運(yùn)行在裸機(jī)上一樣，透明地使用VMM 提供的整個(gè)“物理內(nèi)存"。 </p><p>　　內(nèi)存共享 VMM應(yīng)該允許虛擬機(jī)之間只讀地共享完全相同的內(nèi)存區(qū)域，從而緩解大量虛擬機(jī)并發(fā)運(yùn)行時(shí)的內(nèi)存資源緊缺。實(shí)現(xiàn)內(nèi)存共享的重要基礎(chǔ)是內(nèi)存寫時(shí)復(fù)制機(jī)制(copy On write)。</p><p><b>　　I/O虛擬化</b

63、></p><p>　　I/O虛擬化往往是VMM設(shè)計(jì)最復(fù)雜的部分。它涉及中斷的捕獲和分發(fā)、I/O地址空間的隔離和轉(zhuǎn)換、大量I/O數(shù)據(jù)的傳遞、DMA頁面的保護(hù)等。I/O的效率對(duì)于系統(tǒng)的成敗更加至關(guān)重要。實(shí)現(xiàn)I/O虛擬最簡(jiǎn)單的方法是：將一臺(tái)物理主機(jī)作為特殊的I/O處理機(jī)，它連接所有I/O設(shè)備，其它任何接點(diǎn)需要進(jìn)行I/O操作時(shí)都要先與該主機(jī)聯(lián)系，由它完成I/O操作，再將操作的結(jié)果用虛擬中斷的方法通知請(qǐng)求接點(diǎn)。這種

64、設(shè)計(jì)的優(yōu)點(diǎn)在于實(shí)現(xiàn)簡(jiǎn)單、易于維護(hù)，但是其缺點(diǎn)也是顯而易見的，即瓶頸問題和單點(diǎn)故障問題。為了提高整個(gè)系統(tǒng)的I/O能力，人們當(dāng)然希望每個(gè)接點(diǎn)都具有I/O吞 吐能力：它對(duì)于上層的操作系統(tǒng)仍然表現(xiàn)為一個(gè)單一的I/O設(shè)備，而I/O請(qǐng)求會(huì) 被分流到各個(gè)不同的結(jié)點(diǎn)并行處理，從而大大提高I/O吞吐量。 對(duì)于網(wǎng)絡(luò)設(shè)備，可以通過路由技術(shù)實(shí)現(xiàn)上述功能。而對(duì)于存儲(chǔ)設(shè)備，應(yīng)該在 實(shí)現(xiàn)網(wǎng)絡(luò)I/O高效分流的基礎(chǔ)上，充分利用現(xiàn)在已近非常成熟的分布式存儲(chǔ)系統(tǒng)， 結(jié)合網(wǎng)絡(luò)

65、文件系統(tǒng)來實(shí)現(xiàn)。由于I/O虛擬化技術(shù)目前仍然不夠成熟，即使在很多 傳統(tǒng)的系統(tǒng)級(jí)虛擬化系統(tǒng)中，其效率仍然比較低下。因此，關(guān)于多級(jí)I/O虛擬化 技術(shù)仍然存在廣闊的可探索空間。</p><p><b>　　虛擬化集群</b></p><p>　　在集群中由一臺(tái)vCenter主機(jī)可以管理多臺(tái)的vServer主機(jī)，而在這些vServer主機(jī)上可以運(yùn)行多臺(tái)的虛擬機(jī)，這些虛擬機(jī)可以

66、組成虛擬機(jī)池。vCenter通過對(duì)虛擬機(jī)池的管理間接地實(shí)現(xiàn)對(duì)集群中物理資源的管理。其中vCenter的重要功能是保證虛擬化的集群中高可用性和負(fù)載均衡性的實(shí)現(xiàn)。在物理服務(wù)器上創(chuàng)建出的虛擬機(jī)可以組成虛擬機(jī)池，對(duì)于多虛擬機(jī)來說，一個(gè)非常重要的方面是減少用戶對(duì)動(dòng)態(tài)的和復(fù)雜的物理設(shè)備的管理 和維護(hù)，通過軟件和工具實(shí)現(xiàn)管理任務(wù)。通常將應(yīng)用程序部署到服務(wù)器內(nèi)部運(yùn)行的多個(gè)虛擬機(jī)中。通過一個(gè)一致的方式管理運(yùn)行于大量物理結(jié)點(diǎn)之上的虛擬機(jī)系統(tǒng)，以便能夠形成一

67、個(gè)基于服務(wù)器合并技術(shù)的高性能虛擬計(jì)算環(huán)境以及高效管理技術(shù)。服務(wù)器方面，采用虛擬化技術(shù)的主要驅(qū)動(dòng)力就是服務(wù)器合并，主要是通過在集群中的每一個(gè)結(jié)點(diǎn)上安裝vServer系統(tǒng)，然后就可以在這臺(tái)物理結(jié)點(diǎn)上創(chuàng)建虛擬機(jī)，再把這些虛擬機(jī)根據(jù)具體需求組成任意大小規(guī)模的虛擬池來達(dá)到服務(wù)器合并的目的。這樣使得管理人員只需與控制結(jié)點(diǎn)進(jìn)行交互，而集群事實(shí)上可以包含很多的處理器或結(jié)點(diǎn)。從vCenter的角度來看，通過服務(wù)器合并減少管理復(fù)雜度，把不同資源整</

68、p><p><b>　　虛擬化集群總體框架</b></p><p>　　要把虛擬化技術(shù)引入到集群中，主要是通過在集群中的每一個(gè)結(jié)點(diǎn)上安裝 vServer系統(tǒng)，然后就可以在這臺(tái)物理結(jié)點(diǎn)上創(chuàng)建虛擬機(jī)，再把這些虛擬機(jī)根據(jù)具體需求組成任意大小規(guī)模的虛擬池來達(dá)到服務(wù)器合并的目的。這樣使得管理人員只需與控制結(jié)點(diǎn)進(jìn)行交互，而集群事實(shí)上可以包含很多的處理器或結(jié)點(diǎn)。從 vCenter的角度

69、來看，通過服務(wù)器合并減少管理復(fù)雜度，把不同資源整合成具有巨大能力的系統(tǒng)，提高了系統(tǒng)性能。</p><p>　　一個(gè)典型的虛擬化集群包括：一個(gè)vCenter、多個(gè)vServer和一套共享存儲(chǔ)。vServer直接安裝在服務(wù)器硬件上，vServer將一個(gè)物理服務(wù)器劃分 為可在同一物理服務(wù)器上運(yùn)行的多個(gè)安全、隔離的、可移植的虛擬機(jī)。集群中的所有的vServer主機(jī)通過光通道或者網(wǎng)絡(luò)連接到共享的存儲(chǔ)，這樣當(dāng)一臺(tái)主機(jī)發(fā)生故障

70、時(shí)，可以將主機(jī)上的業(yè)務(wù)轉(zhuǎn)移到其它主機(jī)上，由于使用了共享存儲(chǔ)，使轉(zhuǎn)移后的業(yè)務(wù)的執(zhí)行不會(huì)因?yàn)榇鎯?chǔ)設(shè)備的關(guān)系而受到影響。在集群中，vCenter不是直接對(duì)vServer的主機(jī)進(jìn)行管理，而是對(duì)運(yùn)行在vServer上的虛擬機(jī)進(jìn)行管理，這樣間接的對(duì)vServer進(jìn)行了管理。vCenter的所有管理操作都是在vCenter Client 的操作界面上進(jìn)行。</p><p>　　在對(duì)虛擬機(jī)進(jìn)行集群化架構(gòu)中，主要的功能實(shí)現(xiàn)部分由v

71、Center和vServer兩大模塊組成。</p><p><b>　　vCenter</b></p><p>　　vCenter的主要功能是管理集群中的vServer。一個(gè)集群中只有一臺(tái)主機(jī)安裝vCenter，這臺(tái)安裝vCenter系統(tǒng)的主機(jī)在集群中處于核心管理的位置，管理集群中其它vServer主機(jī)。</p><p>　　vCenter具有

72、以下功能： </p><p>　　尋找可用主機(jī)：首先vCenter會(huì)在集群當(dāng)中尋找可用的主機(jī)資源，即安裝有vServer系統(tǒng)并 且與vCenter連接正常主機(jī)，這樣的主機(jī)才能與vCenter正常通信，才能接受 vCenter的控制。 </p><p>　　創(chuàng)建硬件池：在vCenter尋找到機(jī)器中所有可用主機(jī)資源以后，會(huì)對(duì)這些主機(jī)根據(jù)需要?jiǎng)?chuàng)建任意數(shù)量的硬件池，也就是對(duì)這些主機(jī)進(jìn)行劃分和組合，

73、硬件池的大小由包含的主機(jī)數(shù)量而定。 </p><p>　　創(chuàng)建虛擬機(jī)池：vCenter創(chuàng)建出硬件池以后，可以在硬件池的基礎(chǔ)上創(chuàng)建虛擬機(jī)池。，虛擬機(jī)池是由一定數(shù)量的虛擬機(jī)組成，這些虛擬機(jī)是由vCenter創(chuàng)建出來。沒有啟動(dòng)的虛擬機(jī)只是一個(gè)資源標(biāo)記，需要為虛擬機(jī)劃分一定的CPU和內(nèi)存資源，并且指定一塊存儲(chǔ)設(shè)備，這樣虛擬機(jī)才能啟動(dòng)和運(yùn)行。 </p><p>　　啟動(dòng)虛擬機(jī)：vCenter在啟動(dòng)一

74、臺(tái)虛擬機(jī)的時(shí)候，會(huì)選擇資源占用率最低的主機(jī)來運(yùn)行，這樣體現(xiàn)出集群的負(fù)載均衡性。負(fù)載均衡性將是啟動(dòng)虛擬機(jī)和管理虛擬機(jī)的重點(diǎn)功能。</p><p>　　啟動(dòng)一個(gè)虛擬機(jī)可以分為以下的步驟： </p><p>　　尋找可用主機(jī) 由vCenter負(fù)責(zé)在集群中尋找可用主機(jī)，在集群中除了vCenter以外的主機(jī) 都是安裝了vServer，集群中的可用主機(jī)是指vCenter能收到vServer心跳包的主

75、機(jī)，能收到vServer的心跳包，表明vServer與vCenter的通信正常，這樣vCenter 才能對(duì)vServer進(jìn)行管理和控制。 </p><p>　　創(chuàng)建虛擬機(jī) 創(chuàng)建虛擬機(jī)是為虛擬機(jī)起一個(gè)虛擬機(jī)名，重要的是為虛擬機(jī)指定一個(gè) UUID，UUID是一個(gè)資源標(biāo)簽，唯一的標(biāo)識(shí)了一個(gè)虛擬機(jī)，這樣可以與集群中的 其它虛擬機(jī)區(qū)別開來，便于vCenter對(duì)集群中的虛擬機(jī)管理。 </p><p>

76、　　在硬件池中尋找資源占用率最低的主機(jī) 啟動(dòng)一臺(tái)虛擬機(jī)的時(shí)候并不是在集群中隨機(jī)的指定一臺(tái)主機(jī)來運(yùn)行虛擬機(jī)， 而是優(yōu)先選擇一臺(tái)資源占用率最少的主機(jī)來運(yùn)行，這一步驟實(shí)現(xiàn)集群當(dāng)中的負(fù)載均衡性。</p><p>　　分配虛擬CPU／內(nèi)存 預(yù)先為虛擬機(jī)劃分一定的CPU和內(nèi)存資源，這時(shí)候?yàn)樘摂M機(jī)劃分的資源只是資源標(biāo)簽，等真正運(yùn)行虛擬機(jī)的時(shí)候，會(huì)在虛擬機(jī)所運(yùn)行的主機(jī)上虛擬出與預(yù)先劃分好的資源數(shù)量相等的硬件資源。</p&g

77、t;<p>　　啟動(dòng) 啟動(dòng)虛擬機(jī)之前已經(jīng)為虛擬機(jī)指定了CPU／內(nèi)存資源，也指定了存儲(chǔ)設(shè)備。 這時(shí)可以由vCenter發(fā)出啟動(dòng)虛擬機(jī)的命令，這個(gè)命令會(huì)傳遞給選定的vServer(即資源占用率最低的主機(jī))，vServer會(huì)通過虛擬機(jī)啟動(dòng)一個(gè)具有獨(dú)立CPU、內(nèi)存、I/O設(shè)備和共享存儲(chǔ)設(shè)備的虛擬機(jī)，除了存儲(chǔ)設(shè)備，其它的設(shè)備都是在硬件物理資源的基礎(chǔ)上虛擬出來的。</p><p><b>　　vSer

78、ver</b></p><p>　　vServer的主要功能是劃分和管理共享存儲(chǔ)。對(duì)主機(jī)的物理資源(CPU、內(nèi) 存、I/O)進(jìn)行虛擬化。vServer同時(shí)給vCenter發(fā)送心跳包，通知vCenter自己的 通信狀態(tài)是否正常。</p><p>　　創(chuàng)建存儲(chǔ) 存儲(chǔ)設(shè)備被所有的vServer共享，vServer會(huì)根據(jù)需求從共享存儲(chǔ)中劃出一塊設(shè)備供自己使用，如果虛擬機(jī)要在某個(gè)vSer

79、ver上運(yùn)行，那么虛擬機(jī)就會(huì)占用該 vServer的存儲(chǔ)設(shè)備。創(chuàng)建存儲(chǔ)是對(duì)共享存儲(chǔ)設(shè)備的組織和劃分，vServer利用工具對(duì)磁盤設(shè)備進(jìn)行格式化，并在磁盤設(shè)備上創(chuàng)建物理卷，邏輯卷組，邏輯卷，創(chuàng)建邏輯卷組是為了對(duì)磁盤設(shè)備進(jìn)行合并，這樣可以對(duì)所有的存儲(chǔ)設(shè)備統(tǒng)一規(guī)劃，方便重新分配。 </p><p>　　監(jiān)測(cè)資源空閑率 vServer要實(shí)時(shí)監(jiān)測(cè)自身硬件資源的占用情況，主要是CPU空閑率，內(nèi)存的空閑率和Swap交換空間的空

80、閑率，這三者的加權(quán)值將表明整個(gè)主機(jī)硬件資源空閑率的高低。每臺(tái)vServer上的加權(quán)值會(huì)返回給vCenter，由vCenter找出資源使用率最低的主機(jī)。這一功能模塊是集群虛擬化架構(gòu)中實(shí)現(xiàn)負(fù)載均衡性的基礎(chǔ)。 </p><p><b>　　本章小結(jié)</b></p><p>　　虛擬化技術(shù)在提高硬件利用率、安全性、可維護(hù)性等方面的幫助很大。而利用集群技術(shù)，則可以把多臺(tái)服務(wù)器(

81、物理的或者虛擬的)組成一臺(tái)虛擬服務(wù)器，對(duì)提高系統(tǒng)性能和可靠性的作用明顯。將集群技術(shù)和虛擬機(jī)技術(shù)結(jié)合起來應(yīng)用在對(duì)服務(wù)器的管理中，虛擬機(jī)把一臺(tái)服務(wù)器分成多臺(tái)，集群又把多臺(tái)合成一臺(tái)。這樣一分一合，表面上服務(wù)器還是那些服務(wù)器，實(shí)際上已經(jīng)把各種負(fù)載重新優(yōu)化組合，更合理地分布在各處。從而物理服務(wù)器數(shù)量不變的情況下，達(dá)到了類似于增加服務(wù)器的效果并可以實(shí)現(xiàn)計(jì)算資源利用的最大化。，而且大大提高了災(zāi)難恢復(fù)速度。</p><p>　　

82、不過虛擬化技術(shù)是要在服務(wù)器上運(yùn)行盡可能多的系統(tǒng)和應(yīng)用，虛擬化 本身會(huì)帶來系統(tǒng)開銷，同時(shí)也要消耗部分資源。這個(gè)開銷主要集中在CPU 資源消耗、內(nèi)存資源消耗和硬盤存儲(chǔ)資源消耗上。所以虛擬化平臺(tái)不適合 在低配置的機(jī)器上運(yùn)行，高配置的單臺(tái)機(jī)器要比低配置的單臺(tái)機(jī)器更適于 部署虛擬化系統(tǒng)，這算是虛擬機(jī)集群化架構(gòu)的不足之處。另外，雖然虛擬 化技術(shù)已經(jīng)獲得了長(zhǎng)足發(fā)展。但是面向復(fù)雜的不同時(shí)代的硬件設(shè)備，快速 高效的兼容特性仍然難以迅速滿足。</p&

83、gt;<p><b>　　分布式并行計(jì)算技術(shù)</b></p><p><b>　　分布式并行計(jì)算概述</b></p><p>　　云計(jì)算技術(shù)包括兩個(gè)似乎對(duì)立的技術(shù)，這兩個(gè)技術(shù)都是用于對(duì)資源進(jìn)行分配、使用和管理。 </p><p>　　一個(gè)技術(shù)是對(duì)資源進(jìn)行分割，將資源的分配、使用的粒度變細(xì)，上一章節(jié)介紹的虛擬化

84、集群技術(shù)就是這樣的技術(shù)。 通過引入虛擬主機(jī)，將物理主機(jī)的能力進(jìn)行分割。簡(jiǎn)單地說，虛擬化技術(shù)就是對(duì)資源進(jìn)行拆分的技術(shù)。</p><p>　　另一個(gè)技術(shù)是利用多個(gè)物理主機(jī)的能力完成一個(gè)任務(wù)。分布式并行計(jì)算就是這樣的技術(shù)。分布式并行計(jì)算將任務(wù)分解為多個(gè)子任務(wù)分派給主機(jī)集群中的各個(gè)主機(jī)，子任務(wù)在多個(gè)主機(jī)上協(xié)調(diào)并行運(yùn)行。簡(jiǎn)單地說，分布式并行計(jì)算技術(shù)就是對(duì)資源進(jìn)行聚合的技術(shù)。</p><p>　　事實(shí)

85、上，分布式并行計(jì)算才更加體現(xiàn)出云計(jì)算的本質(zhì)。云計(jì)算的名稱和分布式并行計(jì)算、網(wǎng)格計(jì)算是一脈相承的。不過，分布式并行計(jì)算應(yīng)該只是并行計(jì)算的一種， 從下文的分析可以看出，對(duì)于云計(jì)算除了分布式并行計(jì)算這個(gè)主要的并行模式外，還有其他的并行模式。 </p><p>　　并行計(jì)算PC集群為云計(jì)算的誕生奠定了基礎(chǔ)。云計(jì)算就是在 PC 集群的基礎(chǔ)上發(fā)展起來的。云計(jì)算的機(jī)群由遍布全球的PC通過廣域網(wǎng)連接而成。</p>

86、<p>　　并行計(jì)算的實(shí)現(xiàn)層次有兩個(gè)：</p><p>　　單機(jī)（單個(gè)節(jié)點(diǎn)）內(nèi)部的多個(gè)CPU、多個(gè)核并行計(jì)算，雖然單節(jié)點(diǎn)內(nèi)部的并行計(jì)算不是實(shí)施云計(jì)算的主流，但由于目前多CPU、多核已經(jīng)成為主機(jī)提高性能的一個(gè)非常重要的方面。 </p><p>　　集群內(nèi)部節(jié)點(diǎn)間的并行計(jì)算。對(duì)于云計(jì)算來說，更加強(qiáng)調(diào)的是集群節(jié)點(diǎn)間的并行。目前，集群中的節(jié)點(diǎn)一般是通過IP網(wǎng)絡(luò)連接，在帶寬足夠的前提下，各

87、節(jié)點(diǎn)不受地域、空間限制。所以，云計(jì)算中的并行計(jì)算在很多時(shí)候被稱作分布式并行計(jì)算。</p><p>　　不過，多CPU、多核是主機(jī)的發(fā)展趨勢(shì)，所以在一個(gè)集群內(nèi)，一般2個(gè)級(jí)別的并行都要求存在，集群內(nèi)多節(jié)點(diǎn)之間并行，節(jié)點(diǎn)內(nèi)部多處理器、多核并行。節(jié)點(diǎn)間的并行計(jì)算，通常就等同于常說的分布式并行計(jì)算。</p><p>　　分布式并行計(jì)算和虛擬化成熟的產(chǎn)品不同，并行計(jì)算沒有成熟的產(chǎn)品，只有相對(duì)成熟的工具

88、。并行計(jì)算的實(shí)現(xiàn)，依賴于開發(fā)者和用戶對(duì)業(yè)務(wù)的熟悉，對(duì)并行工具正確、熟練的使用。 </p><p>　　并行應(yīng)用軟件從需求分析到設(shè)計(jì)再到部署，可以分為3個(gè)步驟。</p><p>　　在需求分析階段，根據(jù)業(yè)務(wù)特點(diǎn)，將任務(wù)盡可能地分為可以并行執(zhí)行的多個(gè)任務(wù)。這是實(shí)現(xiàn)并行計(jì)算最基礎(chǔ)的、往往也是最有效的階段。 </p><p>　　在設(shè)計(jì)、編碼階段，采用并行工具進(jìn)行程序設(shè)計(jì)。

89、 這個(gè)階段所應(yīng)用的并行技術(shù)是最核心的并行技術(shù)，難度最大，技術(shù)也不成熟，而且目前大部分技術(shù)人員對(duì)這個(gè)階段 所應(yīng)用的技術(shù)還沒有足夠程度的掌握</p><p>　　在應(yīng)用部署階段，采用并行部署架構(gòu)和工具部署應(yīng)用。這個(gè)階段就是通過部署，使應(yīng)用所占用的設(shè)備能夠?qū)崿F(xiàn)負(fù)載均衡。負(fù)載均衡本質(zhì)上也屬于并行計(jì)算。 常用的方法為采用負(fù)載均衡設(shè)備，如F5交換機(jī)、ESB等。 這個(gè)階段所涉及的技術(shù)比較成熟，已為業(yè)界廣泛采用。</p&g

90、t;<p>　　并行計(jì)算編程模型一直是并行計(jì)算研究領(lǐng)域中的重點(diǎn)內(nèi)容，它和并行計(jì)算機(jī)體系結(jié)構(gòu)緊密相關(guān)。共享存儲(chǔ)體系結(jié)構(gòu)下的并行編程模型主要是共享變量編程模型，它具有單地址空間、編程容易、可移植性差等特點(diǎn)。分布式存儲(chǔ)體系結(jié)構(gòu)下的并行編程模型主要有消息傳遞編程模型和分布式共享編程模型兩種。消息傳遞編程模型的特點(diǎn)是多地址空間、編程困難、可移植性好；分布式共享編程模型 是指有硬件或軟件的支持，在分布式體系結(jié)構(gòu)下實(shí)現(xiàn)的具有共享變量編程

91、模型特點(diǎn)的編程模型。并行計(jì)算編程模型一般包括兩類：一類是在原有串行 編程語言基礎(chǔ)上，引入并行控制機(jī)制，提供并行 API、運(yùn)行庫或者并行編譯指令，這類模型包括 OpenMP、MPI 以及 MapReduce； 另一類則是并行編程語言，其語言本身就是基于并行算法的，相對(duì)影響比較大的主要有Erlang。前面說過，并行計(jì)算的實(shí)現(xiàn)有兩個(gè)層次，一個(gè)是集群節(jié)點(diǎn)間的并行，另一個(gè)節(jié)點(diǎn)內(nèi)的并行。 OpenMP 一般用于實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)并行，MPI 一般用于實(shí)現(xiàn)節(jié)

92、點(diǎn)間的并行；而 Erlang 既可以實(shí)現(xiàn)節(jié)點(diǎn)間的并行，也可以實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)的并行。。本章重點(diǎn)分析OpenMP、MPI 和 Erlang 這 3 個(gè)并行計(jì)算</p><p><b>　　OpenMP</b></p><p>　　目前從x86到小型機(jī)，多核是CPU的主流，對(duì)于單線程的程序，多核的處理器并沒有辦法提升它的處理效能；對(duì)于多線程（multi thread）的程序，就

93、可以通過不同的核同時(shí)計(jì)算來達(dá)到提高性能的目的。當(dāng)然，多線程程序的執(zhí)行性能依賴于對(duì)任務(wù)的分解。多線程程序的編寫、維護(hù)，比單線程的程序要復(fù)雜不少。一般而言，采用了多線程編程技術(shù)，只要主機(jī)是多處理器、多核或者擁有同時(shí)執(zhí)行多個(gè)線程的能力，那么多線程程序的執(zhí)行性能還是遠(yuǎn)遠(yuǎn)高于單線程的。傳統(tǒng)的多線程程序編寫一般有兩種方法： </p><p>　　通過調(diào)用操作系統(tǒng)功能、開發(fā)工具自己的多線程控制語句或控制函數(shù)來實(shí)現(xiàn)； </

94、p><p>　　采用 POSIX 標(biāo)準(zhǔn)和方法， 利用 POSIX 的線程控制庫函數(shù)來實(shí)現(xiàn)。 </p><p>　　這些方法都是通過主線程去產(chǎn)生多個(gè)子線程， 由主線程把工作拆開，分給各個(gè)子線程去運(yùn)算，最后再由主線程回收、整合結(jié)果。使用這兩種方法存在以下問題：</p><p>　　程序的開發(fā)復(fù)雜性較單線程程序增加很多。</p><p>　　第一種方法

95、的移植性還存在問題。 </p><p>　　若要具有好的擴(kuò)展性，則更加復(fù)雜。多線程應(yīng)該不只是創(chuàng)建固定數(shù)量的線程，而應(yīng)該隨著CPU核數(shù)的增加而增加線程。 如果用上述方法，雖然可以實(shí)現(xiàn)良好的擴(kuò)展性，但控制十分復(fù)雜。 </p><p>　　多線程對(duì)多核處理器的負(fù)載均衡調(diào)度需要開發(fā)者自己實(shí)現(xiàn)，十分復(fù)雜。 </p><p>　　使用OpenMP則解決了上述問題。OpenMP是

96、多線程的一種編程方法，它的并行粒度是線程級(jí)別的。它的適用范圍是單機(jī)內(nèi)的并行計(jì)算，可以很好地利用單機(jī)內(nèi)多CPU 或者多核。OpenMP 就是一套API和運(yùn)行庫，可以簡(jiǎn)化單機(jī)內(nèi)的多線程開發(fā)，讓設(shè)計(jì)人員和開發(fā)人員的主要精力集中到對(duì)任務(wù)的理解和拆分上，而具體的細(xì)節(jié)交給OpenMP去完成，用OpenMP的編程效率要遠(yuǎn)遠(yuǎn)高于使用一般函數(shù)庫或者操作系統(tǒng)自帶函數(shù)庫的多線程編程，也大大優(yōu)于POSIX標(biāo)準(zhǔn)和方法。OpenMP是作為共享存儲(chǔ)標(biāo)準(zhǔn)而問世的。它是

97、為在多處理機(jī)上編寫并行程序而設(shè)計(jì)的一個(gè)應(yīng)用編程接口，包括一套編譯指導(dǎo)語句和一個(gè)用來支持它的函數(shù)庫。OpenMP能通過偽指令，很簡(jiǎn)單地將程序多線程化。最簡(jiǎn)單的情形，甚至可以只加一行指導(dǎo)編譯程序的編譯偽指令就可以將循環(huán)內(nèi)的語句并行處理了。OpenMP起源于C/C++，但目前已經(jīng)有OpenMP的Java開發(fā)包，使其可以用于Java編程。 </p><p><b>　　MPI</b></p&g

98、t;<p>　　OpenMP雖然很優(yōu)秀，但只是單機(jī)內(nèi)的并行計(jì)算技術(shù)。無論是并行計(jì)算還是云計(jì)算，其并行計(jì)算的主流是主機(jī)之間的并行而并非單機(jī)內(nèi)的并行。因此MPI （message passing interface）才是并行計(jì)算的代表性技術(shù)。1994年5月MPI標(biāo)準(zhǔn)誕生，該標(biāo)準(zhǔn)提出了一種基于消息傳遞的函數(shù)接口描述。 目前，MPI 已發(fā)展到 2.0 版，成為高性能計(jì)算的一種公認(rèn)標(biāo)準(zhǔn)。 MPI 本身并不是一個(gè)具體的實(shí)現(xiàn)，而只是一種

99、標(biāo)準(zhǔn)描述。MPI最為著名且被廣泛使用的一個(gè)具體實(shí)現(xiàn)是由美國Argoone 國家實(shí)驗(yàn)室開發(fā)小組完成 的MPICH，MPICH是一個(gè)免費(fèi)軟件，它提供對(duì)Fortran和C語言等的綁定支持，以函數(shù)庫的形式提供給開發(fā)者使用。采用MPI在程序設(shè)計(jì)上有較大的自由度，甚至可以用它實(shí)現(xiàn)Hadoop中的MapReduce功能。消息傳遞方式是廣泛應(yīng)用于并行機(jī)的一種模式。特別是分布存儲(chǔ)并行機(jī)。10 多年來，這種模式在重要的計(jì)算應(yīng)用中已取得了實(shí)質(zhì)進(jìn)步。在設(shè)計(jì)MP

100、I時(shí)，目標(biāo)不是選擇采用現(xiàn)存消息傳遞系統(tǒng)中的某一個(gè)，而是充分利用這些系統(tǒng)的最抽象特點(diǎn)。 建立消息傳遞標(biāo)準(zhǔn)的主要優(yōu)點(diǎn)是可移植性和易于使用。以低級(jí)消息傳遞程</p><p>　　設(shè)計(jì)一個(gè)應(yīng)用編程接口 （不必為編譯器或系統(tǒng)實(shí) 現(xiàn)庫）； · 允許有效的通信， 避免存儲(chǔ)器到存儲(chǔ)器的拷貝，而 允許計(jì)算和通信的重疊，盡可能給通信協(xié)同處理器 卸載； </p><p>　　對(duì)于接口，允許方便的 C

101、語言和 Fortran 77 聯(lián)接； </p><p>　　設(shè)定一個(gè)可靠的通信接口， 用戶不必處理通信失 敗，這些失敗由基本的通信子系統(tǒng)處理； </p><p>　　定義一個(gè)接口，提供更大靈活性的擴(kuò)展； </p><p>　　定義一個(gè)接口，它能在基本的通信和系統(tǒng)軟件無重 大改變時(shí)，在許多生產(chǎn)商的平臺(tái)上實(shí)現(xiàn)，接口的語 義是獨(dú)立于語言的； </p><

102、;p>　　接口應(yīng)設(shè)計(jì)成允許線索－安全(thread-safety)。 MPI 的一個(gè)非常大的優(yōu)勢(shì)是大范圍的可移植性，在標(biāo) 準(zhǔn) Unix 處理器間通信協(xié)議的上層實(shí)現(xiàn)的 MPI 將給工作 站群機(jī)系統(tǒng)和不同種類的工作站網(wǎng)絡(luò)提供可移植性。 這個(gè)標(biāo)準(zhǔn)包括點(diǎn)對(duì)點(diǎn)通信、集合操作、進(jìn)程組、通信上 下文、進(jìn)程拓?fù)浣Y(jié)構(gòu)、與 Fortran 77 和 C 語言綁定、環(huán)境管 理和查詢、描述接口。</p><p><b>

103、　　Erlang </b></p><p>　　Erlang首先是一種類似于函數(shù)的編程語言，這種語言天生就是為并行計(jì)算而設(shè)計(jì)的。本來這種比Java還古老的語言，一直無人問津，但是主機(jī)的多處理器、多核的發(fā)展趨勢(shì)，特別是云計(jì)算的興起，給Erlang又帶來了生機(jī)。業(yè)界對(duì)于并行計(jì)算的探索一直沒有停止，尤其是云計(jì)算的發(fā)展促進(jìn)了并行計(jì)算各種方法、模式的發(fā)展，如Java Concurrency庫、Intel 推出的

104、 Threading Building Blocks庫、微軟為Robotics Studio提供的CCR庫等。 但這些措施只是為先天串行的程序設(shè)計(jì)語言提供了后天的并行能力，屬于亡羊補(bǔ)牢。而Erlang 則是先天并行的，在單臺(tái)主機(jī)上利用多處理器和多核的優(yōu)勢(shì)，Erlang將傳統(tǒng)編程方法遠(yuǎn)遠(yuǎn)甩在后面。據(jù)說使用 Erlang 編寫的Yaws Web服務(wù)器，其并發(fā)性能是使用C編程的apache 的15倍！apache在并發(fā)4 000連接時(shí)就已經(jīng)崩

105、潰，而Yaws Web服務(wù)器可實(shí)現(xiàn)并發(fā)8 萬連接。Erlang 不僅是程序設(shè)計(jì)語言，還是包括一個(gè)類似于Java的虛擬機(jī)在內(nèi)的一個(gè)完整的平臺(tái)。通過虛擬機(jī)，Erlang 獨(dú)立于硬件平臺(tái)和操作系統(tǒng)，在這個(gè)平臺(tái)上</p><p>　?。?）并發(fā)性 Erlang 的輕量級(jí)進(jìn)程可以支持極高的并發(fā)性，而且在高并發(fā)的情況下內(nèi)存使用相當(dāng)少。 Erlang 的并發(fā)性并不會(huì)受到宿主操作系統(tǒng)并發(fā)性的限制。 </p><

106、;p>　　（2）分布式 最開始 Erlang 的設(shè)計(jì)目標(biāo)就是實(shí)現(xiàn)分布式環(huán)境，Erlang的一個(gè)虛擬機(jī)就是Erlang 網(wǎng)絡(luò)上的一個(gè)節(jié)點(diǎn)。一個(gè)Erlang 節(jié)點(diǎn)可以在另一個(gè)Erlang節(jié)點(diǎn)上創(chuàng)建自己的并發(fā)進(jìn)程，而子進(jìn)程所在的節(jié)點(diǎn)可能是運(yùn)行其他操作系統(tǒng)的服務(wù)器。 不同節(jié)點(diǎn)之間可以進(jìn)行極為高效而又精確的通信， 就像這些通信運(yùn)行在同一個(gè)節(jié)點(diǎn)一樣。 </p><p>　?。?）健壯性 Erlang 內(nèi)部建設(shè)有多種錯(cuò)誤