集群環(huán)境下的文件調(diào)度優(yōu)化研究.pdf

1、集群就是一組計算機或者工作站以特定的方式連結(jié)起來，它們作為一個整體向用戶提供一組網(wǎng)絡(luò)資源和計算資源。通過集群系統(tǒng)，可以獲得接近于超級并行計算機的計算能力和處理能力。隨著分布式技術(shù)和并行計算的快速發(fā)展，用戶對集群系統(tǒng)的需求日益增長。集群系統(tǒng)提供強大計算能力的同時，面對結(jié)構(gòu)復(fù)雜、節(jié)點繁多的實際狀況，其系統(tǒng)管理是一個值得深入研究的領(lǐng)域。
　　 本文研究的主要內(nèi)容為日本富士通公司的超級集群系統(tǒng)設(shè)計實現(xiàn)的一個作業(yè)文件傳輸調(diào)度器。調(diào)度器主要

2、完成作業(yè)運行所需文件傳輸調(diào)度優(yōu)化任務(wù)，以保證系統(tǒng)穩(wěn)定、資源負載平衡、作業(yè)按時執(zhí)行的情況下，且使得作業(yè)依賴文件傳輸?shù)臅r間最短，為作業(yè)高效執(zhí)行提供強大的支撐。
　　 論文通過對當(dāng)前集群環(huán)境下文件傳輸方案的研究和分析，并結(jié)合實際的集群架構(gòu)，提出了文件分時間段傳輸優(yōu)化算法，并設(shè)計實現(xiàn)了集群系統(tǒng)模擬實驗。模擬系統(tǒng)包含三大模塊，即主控制模塊、通信接口模塊和文件傳輸調(diào)度器模塊。在主控制模塊中，實現(xiàn)了客戶端管理、節(jié)點的管理、用戶提交作業(yè)的管理以

3、及對集群系統(tǒng)中作業(yè)的監(jiān)控和調(diào)度功能；在接口模塊中，主要實現(xiàn)了系統(tǒng)控制、共享內(nèi)存管理以及實現(xiàn)兩個模塊之間的數(shù)據(jù)通信功能；在文件分段傳輸調(diào)度模塊中，實現(xiàn)了作業(yè)依賴文件分段傳輸?shù)墓芾砗驼{(diào)度。調(diào)度算法在采用經(jīng)典調(diào)度算法的同時，實時地根據(jù)作業(yè)請求信息，引入時間片機制，通過各個節(jié)點之間占用時間片的時間值的比較，得出可以最早時間內(nèi)完成傳輸任務(wù)的調(diào)度方案。另外，通過編程還實現(xiàn)了進程間的數(shù)據(jù)通信，利用互斥鎖機制保障了進程間數(shù)據(jù)同步與安全性。最后通過一些典