面向網(wǎng)絡(luò)計算的作業(yè)調(diào)度系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、在網(wǎng)絡(luò)計算環(huán)境中，作業(yè)調(diào)度系統(tǒng)將網(wǎng)絡(luò)計算環(huán)境中分布的資源整合起來，合理調(diào)度作業(yè)，充分利用網(wǎng)絡(luò)中的資源，提高系統(tǒng)的利用率。因此成為網(wǎng)絡(luò)計算環(huán)境的核心和靈魂。 機群和網(wǎng)格作為網(wǎng)絡(luò)計算環(huán)境的兩個里程碑，成為了目前研究的熱點。機群以其卓越的性能價格比和良好的擴展性成為了當(dāng)今高性能計算的主流體系結(jié)構(gòu)。目前，機群的發(fā)展呈現(xiàn)出支持的應(yīng)用類型以及用戶管理需求多樣性的特征。而網(wǎng)格作為新興的網(wǎng)絡(luò)計算環(huán)境，它與機群系統(tǒng)最大的差別在于它是一個缺少中央控

2、制、沒有全知者以及強的信任關(guān)系的計算環(huán)境。網(wǎng)格平臺的構(gòu)建有賴于用戶自愿提供資源，實現(xiàn)資源的共享和交換，減少資源冗余，從而形成了一個非合作式的網(wǎng)絡(luò)計算環(huán)境。 本文以網(wǎng)絡(luò)計算環(huán)境的變化---從機群到網(wǎng)格為線索，對網(wǎng)絡(luò)計算環(huán)境下作業(yè)調(diào)度的關(guān)鍵技術(shù)進(jìn)行了總結(jié)和探討。重點研究了(1)機群單管理分區(qū)環(huán)境下，作業(yè)調(diào)度策略問題；(2)機群多管理分區(qū)環(huán)境中，作業(yè)調(diào)度存在的資源視圖割裂問題；(3)網(wǎng)格非合作式環(huán)境下，用戶作業(yè)信息不完全導(dǎo)致傳統(tǒng)作業(yè)調(diào)

3、度策略失效問題。本文取得的具體研究成果如下： 1．針對機群單管理分區(qū)環(huán)境下，作業(yè)調(diào)度策略難以兼顧作業(yè)執(zhí)行效率和公平性問題，本文第三章提出了一種結(jié)合Firstfit及預(yù)約回填策略的作業(yè)調(diào)度算法RB-FIFT。RB-FIFT調(diào)度策略通過預(yù)約策略解決了作業(yè)饑餓問題，實現(xiàn)作業(yè)調(diào)度的公平性；并通過firstfit和回填策略減少了作業(yè)執(zhí)行中產(chǎn)生的資源碎片，從而提高了作業(yè)的執(zhí)行效率。性能測試結(jié)果表明，與傳統(tǒng)的先來先服務(wù)(FCFS)算法和Fir

4、stfit算法比較，(1)在精確估計作業(yè)運行時間的情況下，RB-FIFT算法在多項性能指標(biāo)上有明顯提高，其中作業(yè)最大響應(yīng)時間的減小幅度最大為19.5％，平均等待時間最大減小幅度為54.9％，；(2)RB-FIFT算法的性能并不隨著作業(yè)運行時間估計不精確性的增加而單調(diào)的增大或減小，與精確估計運行時間情況比較，其中作業(yè)平均等待時間最大減小幅度為30％。 2．針對機群多管理分區(qū)環(huán)境下，資源分區(qū)導(dǎo)致資源視圖割裂問題，本文第四章提出了基于

5、動態(tài)租借原理的機群作業(yè)調(diào)度思想，闡述了實現(xiàn)該思想的關(guān)鍵技術(shù)，并給出了一個基于動態(tài)租借原理的機群作業(yè)調(diào)度系統(tǒng)DRJSS。性能試驗結(jié)果證明，與既有的固定分區(qū)和動態(tài)作業(yè)推送解決方案比較，動態(tài)租借策略具有較好的性能優(yōu)越性，其中作業(yè)平均等待時間最多下降了1.32倍。在資源頻繁租借、回收的情況下，由于作業(yè)遷移開銷僅為毫秒(ms)級，動態(tài)租借策略仍具有較好的優(yōu)越性。 3．針對網(wǎng)格非合作環(huán)境下，用戶作業(yè)信息不完全導(dǎo)致傳統(tǒng)作業(yè)調(diào)度策略失效問題，本

6、文第五、六章引入微觀經(jīng)濟學(xué)的機制設(shè)計理論，針對同構(gòu)和異構(gòu)環(huán)境，分別提出了基于同構(gòu)資源聚合拍賣的作業(yè)調(diào)度算法HoRAA和基于異構(gòu)資源聚合拍賣的作業(yè)調(diào)度算法HtRAA。HoRAA算法借鑒雙邊拍賣的思想，實現(xiàn)了促使資源買賣雙方真實反映資源效用信息的目標(biāo)。同時，HoRAA算法所確定的調(diào)度方案導(dǎo)致的調(diào)度參與者盈利的缺 失為O(1／min(m,n)<'2>)，其中m,n分別為資源購買者和提供者的總數(shù)。HtRAA算泫借鑒組合拍賣的思想，實現(xiàn)了促使用

7、戶真實反映資源效用信息的目標(biāo)。HtRAA算法能夠?qū)崿F(xiàn)的聚合效用與最優(yōu)解的近似度為平方根Q，其中，Q為資源總數(shù)。 4.本義第七章給出了一個完整的基于拍賣市場的網(wǎng)格作業(yè)調(diào)度系統(tǒng)AGJSS，在該系統(tǒng)中采用了HoRAA調(diào)度算法和HtRAA調(diào)度算法，并設(shè)計了一套用戶作業(yè)提交文法，采用了基于受限輸出定期注入的記賬模型LOPI。對AGJSS的性能測試表明，(1)與既有的商品市場模型比較，HoRAA算法具有較好的通訊有效性，在基于用戶代理的模式

8、下，單次調(diào)度執(zhí)行時間降低了141.1倍；(2)與目前網(wǎng)格環(huán)境下既有的議價模型、固定計費模型和商品市場模型比較，在取得持平的傳統(tǒng)性能指標(biāo)，如作業(yè)平均等待時間、吞吐率等的情況下，HoRAA算法和HtRAA算法取得了較好的經(jīng)濟學(xué)性能指標(biāo)，即聚合盈利。實驗結(jié)果表明，聚合盈利的最大提高幅度分別為3.84倍和4.52倍；(3)利用市場價格機制，取得了較好的負(fù)載均衡效果，與隨機選擇資源池的策略比較，作業(yè)平均等待時間下降幅度最大為1.34倍；(4)LO