網(wǎng)格環(huán)境下資源管理關(guān)鍵技術(shù)的研究.pdf

1、隨著計(jì)算機(jī)性能的不斷提高和網(wǎng)絡(luò)通訊技術(shù)的迅猛發(fā)展，應(yīng)用需求日益朝著高性能、大規(guī)模、多樣性、多功能的方向發(fā)展，要求將地理上分布的、異構(gòu)的各種高性能計(jì)算資源、存儲(chǔ)資源、數(shù)據(jù)資源和其它特殊資源通過(guò)高速網(wǎng)絡(luò)連接起來(lái)，實(shí)現(xiàn)高性能聯(lián)合計(jì)算，共同完成重大應(yīng)用問(wèn)題，即廣域高性能的元計(jì)算技術(shù)，也稱為網(wǎng)格計(jì)算技術(shù)[2][3][4]。不同于一般傳統(tǒng)的分布式計(jì)算，網(wǎng)格計(jì)算著重于大規(guī)模的資源共享、創(chuàng)新應(yīng)用，并在一定情況下定位于高性能計(jì)算，已經(jīng)成為一個(gè)重要領(lǐng)域。在

2、網(wǎng)格計(jì)算環(huán)境中，資源是分散在各個(gè)不同地域和管理域中，由不同的組織擁有和操作，并且在使用策略和安全機(jī)制上各不相同，即不同站點(diǎn)可能會(huì)使用不同的局部資源管理系統(tǒng)。同時(shí)，很多應(yīng)用需要同時(shí)使用多個(gè)站點(diǎn)上的資源，站點(diǎn)自治性和分配資源時(shí)可能出現(xiàn)的故障需要一種特殊機(jī)制來(lái)同時(shí)分配位于多個(gè)站點(diǎn)上的資源。因此，如何對(duì)網(wǎng)格計(jì)算環(huán)境中的資源進(jìn)行管理是實(shí)現(xiàn)高性能聯(lián)合計(jì)算，共同完成重大應(yīng)用問(wèn)題的關(guān)鍵。 資源管理是網(wǎng)格計(jì)算的核心問(wèn)題，它包括資源的組織、定位、發(fā)

3、現(xiàn)、調(diào)度、分配、確認(rèn)、進(jìn)程創(chuàng)建以及準(zhǔn)備所需資源的其它活動(dòng)。資源管理提供了管理的功能和概念，使集群能夠被當(dāng)作單一資源，系統(tǒng)管理員根據(jù)預(yù)先定義好的標(biāo)準(zhǔn)通過(guò)資源管理軟件確保資源的合理分配和使用，以最終達(dá)到資源共享的目的。從為用戶提供方便、高效的服務(wù)的角度來(lái)看，它與傳統(tǒng)的分布式計(jì)算環(huán)境或集群計(jì)算環(huán)境下的資源管理系統(tǒng)類似，具備以下三種功能：作業(yè)管理、任務(wù)調(diào)度和資源管理，即用戶通過(guò)作業(yè)管理功能向網(wǎng)格系統(tǒng)提交作業(yè)，為作業(yè)指定所需資源，刪除作業(yè)并監(jiān)測(cè)作

4、業(yè)的運(yùn)行狀態(tài)；用戶提交的作業(yè)由任務(wù)調(diào)度功能按照作業(yè)包含的各個(gè)任務(wù)的類型、所需資源、可用資源等情況安排運(yùn)行日程和策略；資源管理功能確定并監(jiān)測(cè)網(wǎng)格資源狀況，收集作業(yè)運(yùn)行時(shí)資源占用情況等信息。然而，由于網(wǎng)格系統(tǒng)的分布性、異構(gòu)性和動(dòng)態(tài)性，使得網(wǎng)格資源管理比分布式計(jì)算環(huán)境或集群計(jì)算環(huán)境下的資源管理更加復(fù)雜，不僅要支持跨組織或管理域的任務(wù)調(diào)度，實(shí)時(shí)監(jiān)控資源和作業(yè)執(zhí)行的狀態(tài)，而且要維護(hù)局部的站點(diǎn)自治，提供相應(yīng)的QoS支持。因此需要建立適應(yīng)于網(wǎng)格這種復(fù)

5、雜環(huán)境的特殊的資源管理系統(tǒng)模型，研究其特征及功能，為具體實(shí)現(xiàn)網(wǎng)格資源管理系統(tǒng)提供必要的指導(dǎo)，從而滿足網(wǎng)格系統(tǒng)的用戶服務(wù)需求和為網(wǎng)格系統(tǒng)其它服務(wù)組件提供支持。 由此可見，在資源管理中，面臨的有唯一驗(yàn)證、授權(quán)、資源訪問(wèn)、資源發(fā)現(xiàn)以及資源調(diào)度等挑戰(zhàn)。網(wǎng)格中常用的資源包括：處理能力、存儲(chǔ)系統(tǒng)、目錄、網(wǎng)格資源、分布式文件系統(tǒng)、分布式計(jì)算機(jī)池、計(jì)算機(jī)集群等。由于網(wǎng)格在邏輯上連接了屬于不同的所有者或組織的多重資源，因而好的資源管理系統(tǒng)在最終網(wǎng)

6、格是否成功上起著重要的作用。但由于缺乏統(tǒng)一的網(wǎng)格資源管理標(biāo)準(zhǔn)，統(tǒng)一的管理協(xié)議和原語(yǔ)的對(duì)外接口，網(wǎng)格研究仍處于實(shí)驗(yàn)階段，在實(shí)現(xiàn)網(wǎng)格資源節(jié)點(diǎn)關(guān)鍵功能單元上仍面臨著許多困難，尤其是在支持QoS和大規(guī)模分布式資源查找方面。為趕上國(guó)外的研究步伐，彌補(bǔ)我國(guó)在該研究領(lǐng)域的不足，拉近我國(guó)與國(guó)際水平間的差距，開展網(wǎng)格資源管理及其關(guān)鍵技術(shù)的研究已迫在眉睫。本論文旨在對(duì)網(wǎng)格資源管理中主要的功能進(jìn)行前瞻性、探索性的研究，希望能對(duì)網(wǎng)格計(jì)算的研究工作起到積極有益的

7、指導(dǎo)和推動(dòng)作用。 本論文從理論與實(shí)踐的結(jié)合上，綜合論述及分析了國(guó)內(nèi)外網(wǎng)格計(jì)算資源管理與調(diào)度的發(fā)展?fàn)顩r及其技術(shù)特征，指出了相關(guān)研究工作的局限性。將交叉學(xué)科的方法引入本研究中，對(duì)網(wǎng)格計(jì)算資源管理與調(diào)度的若干關(guān)鍵問(wèn)題進(jìn)行了研究與探索，試圖為網(wǎng)格計(jì)算資源管理與調(diào)度系統(tǒng)的設(shè)計(jì)提供一種新的思路和途徑。其主要研究工作及貢獻(xiàn)可體現(xiàn)在以下幾個(gè)方面： 1、針對(duì)網(wǎng)格計(jì)算資源管理與調(diào)度的特性，將市場(chǎng)經(jīng)濟(jì)學(xué)模型與網(wǎng)格計(jì)算資源管理與調(diào)度問(wèn)題結(jié)合起來(lái)

8、，基于市場(chǎng)經(jīng)濟(jì)模型將經(jīng)濟(jì)的概念引入網(wǎng)格資源管理中，既利用了層次模型中相對(duì)成熟的技術(shù)又明確強(qiáng)調(diào)了以市場(chǎng)競(jìng)爭(zhēng)為基礎(chǔ)的資源管理和分配，在市場(chǎng)經(jīng)濟(jì)環(huán)境中，資源消費(fèi)者希望最小化費(fèi)用，而資源所有者希望最大化投資回報(bào)。在對(duì)已有的基于市場(chǎng)經(jīng)濟(jì)的網(wǎng)格資源管理模型作出了一些改進(jìn)的同時(shí)，突出了價(jià)格機(jī)制在市場(chǎng)中的作用，提出了一種基于市場(chǎng)機(jī)制的網(wǎng)格資源分配方法：以均衡理論和第二價(jià)格競(jìng)拍機(jī)制為基礎(chǔ)，依靠市場(chǎng)機(jī)制，實(shí)現(xiàn)計(jì)算網(wǎng)格資源的優(yōu)化分配。首先描述了基于市場(chǎng)的資源

9、分配框架，它包括3個(gè)層次：資源層、市場(chǎng)層和消費(fèi)者層；同時(shí)采用第二價(jià)格競(jìng)拍規(guī)則作為資源分配策略，滿足了網(wǎng)格對(duì)分配系統(tǒng)可擴(kuò)展性和全局最優(yōu)調(diào)度的需求。與Globus，Legion，WebFlow等計(jì)算網(wǎng)格系統(tǒng)中使用的資源分配技術(shù)相比，基于市場(chǎng)價(jià)格競(jìng)拍機(jī)制的資源管理模型具有如下的優(yōu)點(diǎn)： (1)資源分配分層實(shí)施，降低了資源分配的執(zhí)行開銷，從而提高了系統(tǒng)的適應(yīng)性、可延展性(extensibility)和可擴(kuò)展性(scalability)；

10、 (2)以經(jīng)濟(jì)學(xué)中的一般均衡理論為理論基礎(chǔ)，遵循第二價(jià)格競(jìng)拍原理，證明了均衡狀態(tài)是兼顧效率和公平的資源分配最佳境界，可以使實(shí)際的資源分配結(jié)果逼近均衡狀態(tài)，從而使資源分配達(dá)到最優(yōu)； (3)通訊時(shí)間及費(fèi)用少，競(jìng)拍效率高。 2、網(wǎng)格環(huán)境中使用經(jīng)濟(jì)學(xué)原理進(jìn)行資源管理和調(diào)度是網(wǎng)格從理論研究向?qū)嶋H應(yīng)用所必須跨越的一步。在計(jì)算經(jīng)濟(jì)模式下，為調(diào)節(jié)網(wǎng)格資源供需分配提出了一個(gè)基于用戶服務(wù)需求的計(jì)算經(jīng)濟(jì)框架。這個(gè)框架通過(guò)經(jīng)濟(jì)學(xué)驅(qū)動(dòng)截止期

11、和預(yù)算約束根據(jù)用戶的需求，分配資源到應(yīng)用任務(wù)。提出了一種基于計(jì)算經(jīng)濟(jì)的網(wǎng)格資源動(dòng)態(tài)調(diào)度算法，主要針對(duì)網(wǎng)格資源由于計(jì)算能力不同而花費(fèi)代價(jià)不同而提出，利用啟發(fā)式搜索技術(shù)，綜合考慮了任務(wù)的截止期、預(yù)算約束、最早可能執(zhí)行時(shí)間等不同因素，通過(guò)一個(gè)新的資源分配策略實(shí)現(xiàn)了時(shí)間-代價(jià)的最優(yōu)化，提高了資源調(diào)度的成功率。 3、針對(duì)網(wǎng)格資源動(dòng)態(tài)、分布和異構(gòu)的特點(diǎn)，需要有一種不依賴集中控制、分布式、可擴(kuò)展、能適應(yīng)資源動(dòng)態(tài)變化并且定位性能好的資源查找算法

12、。研究提出了小世界聚類的網(wǎng)格資源查找算法(SWC)算法。將網(wǎng)格空間分為多個(gè)簇，按照節(jié)點(diǎn)的聚類度確定聚類中心，采用聚類中心優(yōu)先的分級(jí)擴(kuò)散方法從全局角度對(duì)網(wǎng)格資源進(jìn)行搜索。為了提高算法的可擴(kuò)展性，在路由表中隨機(jī)插入連接遠(yuǎn)距離節(jié)點(diǎn)的快捷連接。仿真測(cè)試表明：SWC算法具有良好的搜索能力、可擴(kuò)展性。未來(lái)的研究根據(jù)節(jié)點(diǎn)和服務(wù)分布的均勻和非平衡分布性，動(dòng)態(tài)性以及網(wǎng)格拓?fù)浣Y(jié)構(gòu)等條件，測(cè)試和分析其對(duì)節(jié)點(diǎn)聚類度的影響。同時(shí)利用資源的QoS進(jìn)一步對(duì)網(wǎng)格進(jìn)行聚

13、類，增加聚類度，進(jìn)一步減小平均路徑長(zhǎng)度，提高搜索效率。 4、隨著網(wǎng)格業(yè)務(wù)的廣泛擴(kuò)展，服務(wù)質(zhì)量(QoS)將變成衡量網(wǎng)格是否成功的重要因素，如何從企業(yè)系統(tǒng)、服務(wù)提供者系統(tǒng)和用戶系統(tǒng)上獲取資源，如何能及時(shí)有效地響應(yīng)用戶請(qǐng)求，如何能實(shí)時(shí)地獲得服務(wù)實(shí)例運(yùn)行狀態(tài)以及如何能保證用戶應(yīng)用的服務(wù)質(zhì)量，并進(jìn)行動(dòng)態(tài)組合的服務(wù)質(zhì)量保障成了本質(zhì)問(wèn)題，網(wǎng)格服務(wù)的功能與性能評(píng)價(jià)將不只是采用傳統(tǒng)計(jì)算機(jī)的評(píng)價(jià)標(biāo)準(zhǔn)(如速度、加速比、性價(jià)比等)，而以用戶滿意度為目標(biāo)

14、，用服務(wù)質(zhì)量來(lái)衡量。本論文從資源預(yù)留、接納控制以及QoS調(diào)整等幾方面進(jìn)行系統(tǒng)的性能分析和理論研究。首先推導(dǎo)相應(yīng)的QoS算法，進(jìn)而得出相應(yīng)的QOS的理論模型。再通過(guò)迭代方法反復(fù)論證任務(wù)的優(yōu)先級(jí)、網(wǎng)絡(luò)帶寬、資源的使用壽命、服務(wù)水平(SLA)等關(guān)鍵參數(shù)對(duì)QoS性能的影響，提出基于熵的網(wǎng)格資源QoS優(yōu)化策略，引入了網(wǎng)格服務(wù)的QoS量化的概念，提出了衡量網(wǎng)格資源服務(wù)QoS穩(wěn)定性的新尺度——熵，并利用熵來(lái)選擇QoS穩(wěn)定性好的資源，提高了資源的可靠性