大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的研究與實現(xiàn)——具有P2P特性的作業(yè)管理系統(tǒng).pdf

1、近年來，隨著計算機和網(wǎng)絡技術的迅猛發(fā)展，基于對等結構(Peer-to-Peer，P2P)的大規(guī)模分布式系統(tǒng)迅速發(fā)展起來，成為占用Internet帶寬最大的網(wǎng)絡應用。越來越多的個人計算機通過有線網(wǎng)絡或無線網(wǎng)絡連接到一起。在這樣一個高度網(wǎng)絡化的時代，如何有效地利用這些分散的資源，如何保證服務的質(zhì)量，如何實現(xiàn)“網(wǎng)絡就是計算機”的目標，已經(jīng)成為下一代互聯(lián)網(wǎng)的重要研究課題。將大規(guī)模、高度動態(tài)、高度異構的各種計算結點組織到一起，提供高可擴展性、高有

2、效性、高性能的互助服務是P2P技術研究的基礎課題，而基于P2P技術的上層應用也相應地大量產(chǎn)生，目前主要集中在簡單易用的永久存儲系統(tǒng)和即時消息系統(tǒng)以及多人協(xié)作系統(tǒng)。本文對P2P技術在作業(yè)管理上的應用進行研究和實現(xiàn)。 本論文由一個國際合作項目資助，該項目采用分階段實施的方式，目前已經(jīng)歷了三個階段。第一階段是研制客戶/服務器體系結構的作業(yè)管理系統(tǒng)－JC原型：第二階段旨在實現(xiàn)集群異構系統(tǒng)支持和高可用性；第三階段則是在廣域網(wǎng)及Intern

3、et上探索JC系統(tǒng)的資源共享技術。作者的研究內(nèi)容主要集中在第二和第三階段，目前項目已基本通過驗收。 本文以項目第一階段完成的作業(yè)管理系統(tǒng)JC為應用對象，系統(tǒng)地研究了大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的理論與方法。通過對集群和P2P技術的深入研究，并將它們?nèi)谌氲降淖鳂I(yè)管理系統(tǒng)中，實現(xiàn)了可調(diào)度的多層集群的過程化作業(yè)網(wǎng)絡模型，以及基于P2P網(wǎng)絡路由協(xié)議PHB的作業(yè)管理系統(tǒng)Peer-JC。 論文中的主要工作和創(chuàng)新點如下： 1

4、．研究并建立了作業(yè)管理系統(tǒng)中的集群管理體系將網(wǎng)絡結點按照層次的觀點分為超級結點、服務結點和客戶結點。有效地將高度動態(tài)、高度異構的各種結點組織到一起。結點的高度動態(tài)、高度異構既反映了結點的計算能力、內(nèi)存大小、連接帶寬、網(wǎng)絡滯留時間等能力的不同，也表明結點的使用目的不同。 2．提出并實現(xiàn)了可調(diào)度的多層集群的過程化作業(yè)網(wǎng)絡模型首先提出了可調(diào)度的過程化作業(yè)網(wǎng)絡概念，然后在其基礎上提出了“全局調(diào)度一靜態(tài)調(diào)度－動態(tài)調(diào)度”的三層負載平衡調(diào)度模

5、型。該模型適用于大規(guī)模、高度動態(tài)、高度異構的網(wǎng)絡。 第一階段實現(xiàn)全局調(diào)度，即在PHB(Prefix Hybrid)覆蓋網(wǎng)上進行調(diào)度；第二階段將作業(yè)網(wǎng)絡進行解析和調(diào)度，即在對等的機器列表中進行調(diào)度，稱靜態(tài)調(diào)度。根據(jù)作業(yè)網(wǎng)絡，作者提出了一個基于作業(yè)網(wǎng)絡DAGfDirectedAcyclic Graph)模型的靜態(tài)調(diào)度算法，該算法是對動態(tài)負載平衡算法的擴展，用于作業(yè)網(wǎng)絡的靜態(tài)負載平衡；第三階段將作業(yè)進行在機器組間的調(diào)度，也稱動態(tài)調(diào)度。

6、 3．研究并提出了適于作業(yè)管理的P2P的網(wǎng)絡協(xié)議在結點三層結構上，基于結構化覆蓋網(wǎng)及分布式哈希表DHT，提出了具有前綴特征碼匹配特性的混合P2P網(wǎng)絡路由協(xié)議PHB，將高度異構的各種計算結點組織到一起。本文給出了PHB的詳細構造方法，并論證了PHB的路由算法在3跳內(nèi)可完成。 4．研究并建立了基于P2P技術的大規(guī)模作業(yè)管理系統(tǒng)Peer-JC將作業(yè)管理系統(tǒng)架構在P2P覆蓋網(wǎng)上，設計和實現(xiàn)了具有P2P特性的Peer-JC系統(tǒng)，使

7、其適用于大規(guī)模分布式環(huán)境?？沙浞掷酶叨葎討B(tài)、高度異構的網(wǎng)絡邊緣資源并提供更廣泛的服務。 5．研究并設計了Peer-JC系統(tǒng)的高可用性作者在分析當前集群技術的基礎上，提出了高可用性作業(yè)管理系統(tǒng)的實現(xiàn)模型。根據(jù)該模型，作業(yè)管理系統(tǒng)作為虛擬服務運行在高可用性集群上；一旦出現(xiàn)故障，可以透明地進行故障轉(zhuǎn)移。當故障消失時，可以進行故障恢復，能保證作業(yè)運行的連續(xù)性和可用性。并且按照該模型，給出了在MSCS集群上具體的實現(xiàn)方案。 6．