面向網絡計算的作業(yè)調度系統關鍵技術研究.pdf

1、在網絡計算環(huán)境中，作業(yè)調度系統將網絡計算環(huán)境中分布的資源整合起來，合理調度作業(yè)，充分利用網絡中的資源，提高系統的利用率。因此成為網絡計算環(huán)境的核心和靈魂。 機群和網格作為網絡計算環(huán)境的兩個里程碑，成為了目前研究的熱點。機群以其卓越的性能價格比和良好的擴展性成為了當今高性能計算的主流體系結構。目前，機群的發(fā)展呈現出支持的應用類型以及用戶管理需求多樣性的特征。而網格作為新興的網絡計算環(huán)境，它與機群系統最大的差別在于它是一個缺少中央控

2、制、沒有全知者以及強的信任關系的計算環(huán)境。網格平臺的構建有賴于用戶自愿提供資源，實現資源的共享和交換，減少資源冗余，從而形成了一個非合作式的網絡計算環(huán)境。 本文以網絡計算環(huán)境的變化---從機群到網格為線索，對網絡計算環(huán)境下作業(yè)調度的關鍵技術進行了總結和探討。重點研究了(1)機群單管理分區(qū)環(huán)境下，作業(yè)調度策略問題；(2)機群多管理分區(qū)環(huán)境中，作業(yè)調度存在的資源視圖割裂問題；(3)網格非合作式環(huán)境下，用戶作業(yè)信息不完全導致傳統作業(yè)調

3、度策略失效問題。本文取得的具體研究成果如下： 1．針對機群單管理分區(qū)環(huán)境下，作業(yè)調度策略難以兼顧作業(yè)執(zhí)行效率和公平性問題，本文第三章提出了一種結合Firstfit及預約回填策略的作業(yè)調度算法RB-FIFT。RB-FIFT調度策略通過預約策略解決了作業(yè)饑餓問題，實現作業(yè)調度的公平性；并通過firstfit和回填策略減少了作業(yè)執(zhí)行中產生的資源碎片，從而提高了作業(yè)的執(zhí)行效率。性能測試結果表明，與傳統的先來先服務(FCFS)算法和Fir

4、stfit算法比較，(1)在精確估計作業(yè)運行時間的情況下，RB-FIFT算法在多項性能指標上有明顯提高，其中作業(yè)最大響應時間的減小幅度最大為19.5％，平均等待時間最大減小幅度為54.9％，；(2)RB-FIFT算法的性能并不隨著作業(yè)運行時間估計不精確性的增加而單調的增大或減小，與精確估計運行時間情況比較，其中作業(yè)平均等待時間最大減小幅度為30％。 2．針對機群多管理分區(qū)環(huán)境下，資源分區(qū)導致資源視圖割裂問題，本文第四章提出了基于

5、動態(tài)租借原理的機群作業(yè)調度思想，闡述了實現該思想的關鍵技術，并給出了一個基于動態(tài)租借原理的機群作業(yè)調度系統DRJSS。性能試驗結果證明，與既有的固定分區(qū)和動態(tài)作業(yè)推送解決方案比較，動態(tài)租借策略具有較好的性能優(yōu)越性，其中作業(yè)平均等待時間最多下降了1.32倍。在資源頻繁租借、回收的情況下，由于作業(yè)遷移開銷僅為毫秒(ms)級，動態(tài)租借策略仍具有較好的優(yōu)越性。 3．針對網格非合作環(huán)境下，用戶作業(yè)信息不完全導致傳統作業(yè)調度策略失效問題，本

6、文第五、六章引入微觀經濟學的機制設計理論，針對同構和異構環(huán)境，分別提出了基于同構資源聚合拍賣的作業(yè)調度算法HoRAA和基于異構資源聚合拍賣的作業(yè)調度算法HtRAA。HoRAA算法借鑒雙邊拍賣的思想，實現了促使資源買賣雙方真實反映資源效用信息的目標。同時，HoRAA算法所確定的調度方案導致的調度參與者盈利的缺 失為O(1／min(m,n)<'2>)，其中m,n分別為資源購買者和提供者的總數。HtRAA算泫借鑒組合拍賣的思想，實現了促使用

7、戶真實反映資源效用信息的目標。HtRAA算法能夠實現的聚合效用與最優(yōu)解的近似度為平方根Q，其中，Q為資源總數。 4.本義第七章給出了一個完整的基于拍賣市場的網格作業(yè)調度系統AGJSS，在該系統中采用了HoRAA調度算法和HtRAA調度算法，并設計了一套用戶作業(yè)提交文法，采用了基于受限輸出定期注入的記賬模型LOPI。對AGJSS的性能測試表明，(1)與既有的商品市場模型比較，HoRAA算法具有較好的通訊有效性，在基于用戶代理的模式

8、下，單次調度執(zhí)行時間降低了141.1倍；(2)與目前網格環(huán)境下既有的議價模型、固定計費模型和商品市場模型比較，在取得持平的傳統性能指標，如作業(yè)平均等待時間、吞吐率等的情況下，HoRAA算法和HtRAA算法取得了較好的經濟學性能指標，即聚合盈利。實驗結果表明，聚合盈利的最大提高幅度分別為3.84倍和4.52倍；(3)利用市場價格機制，取得了較好的負載均衡效果，與隨機選擇資源池的策略比較，作業(yè)平均等待時間下降幅度最大為1.34倍；(4)LO