集群環(huán)境下的文件調度優(yōu)化研究.pdf

1、集群就是一組計算機或者工作站以特定的方式連結起來，它們作為一個整體向用戶提供一組網絡資源和計算資源。通過集群系統(tǒng)，可以獲得接近于超級并行計算機的計算能力和處理能力。隨著分布式技術和并行計算的快速發(fā)展，用戶對集群系統(tǒng)的需求日益增長。集群系統(tǒng)提供強大計算能力的同時，面對結構復雜、節(jié)點繁多的實際狀況，其系統(tǒng)管理是一個值得深入研究的領域。
　　 本文研究的主要內容為日本富士通公司的超級集群系統(tǒng)設計實現的一個作業(yè)文件傳輸調度器。調度器主要

2、完成作業(yè)運行所需文件傳輸調度優(yōu)化任務，以保證系統(tǒng)穩(wěn)定、資源負載平衡、作業(yè)按時執(zhí)行的情況下，且使得作業(yè)依賴文件傳輸的時間最短，為作業(yè)高效執(zhí)行提供強大的支撐。
　　 論文通過對當前集群環(huán)境下文件傳輸方案的研究和分析，并結合實際的集群架構，提出了文件分時間段傳輸優(yōu)化算法，并設計實現了集群系統(tǒng)模擬實驗。模擬系統(tǒng)包含三大模塊，即主控制模塊、通信接口模塊和文件傳輸調度器模塊。在主控制模塊中，實現了客戶端管理、節(jié)點的管理、用戶提交作業(yè)的管理以

3、及對集群系統(tǒng)中作業(yè)的監(jiān)控和調度功能；在接口模塊中，主要實現了系統(tǒng)控制、共享內存管理以及實現兩個模塊之間的數據通信功能；在文件分段傳輸調度模塊中，實現了作業(yè)依賴文件分段傳輸的管理和調度。調度算法在采用經典調度算法的同時，實時地根據作業(yè)請求信息，引入時間片機制，通過各個節(jié)點之間占用時間片的時間值的比較，得出可以最早時間內完成傳輸任務的調度方案。另外，通過編程還實現了進程間的數據通信，利用互斥鎖機制保障了進程間數據同步與安全性。最后通過一些典