Hadoop集群系統(tǒng)性能優(yōu)化的研究.pdf

1、云計算在商業(yè)和科學研究上的價值已漸漸被社會認可。它可以在搜索引擎、互聯(lián)網(wǎng)應用技術、大規(guī)模數(shù)據(jù)計算等方面發(fā)揮出巨大的能量。Hadoop技術作為云計算技術的開源實現(xiàn)，對云計算技術的發(fā)展起到了十分重要的作用。現(xiàn)在大多數(shù)的企業(yè)和科學研究采用了Hadoop作為云計算平臺。Hadoop憑借它簡單的并行編程模型，龐大的數(shù)據(jù)存儲能力和高效的計算能力為用戶提供了良好的客戶體驗。但是，由于Hadoop的發(fā)展時間比較短暫，系統(tǒng)中仍然有很多地方可以去完善和改進

2、，才能更加充分地發(fā)揮其系統(tǒng)性能。因此對Hadoop系統(tǒng)性能的研究工作是必要并有意義的。
　　系統(tǒng)性能參數(shù)和任務級調度算法對Hadoop系統(tǒng)工作性能起著重要的影響，其中系統(tǒng)性能參數(shù)關系到集群工作各階段對系統(tǒng)資源的使用情況;任務級調度算法是Hadoop工作時任務分配的關鍵。參數(shù)值的確定與任務分配沒有統(tǒng)一的模型，是比較復雜的工作，目前對它們的研究還處于發(fā)展階段。因而我們從這兩方面對Hadoop系統(tǒng)性能的優(yōu)化進行了研究。
　　本文著

3、重對集群節(jié)點的執(zhí)行能力進行了分析與研究。為使Hadoop集群系統(tǒng)能夠應對多變的任務及集群節(jié)點自身的差異對系統(tǒng)工作性能帶來的影響，設計Task Configure服務器及構建了Hadoop集群參數(shù)信息系統(tǒng)對集群參數(shù)進行自動調優(yōu);并針對當前Hadoop集群默認運行的任務級調度算法可能存在的負載分布不均的狀況，提出了一種基于節(jié)點能力的任務自適應分配方法。其中，參數(shù)信息系統(tǒng)的實現(xiàn)，采用節(jié)點資源利用效率生成集群系統(tǒng)參數(shù)的優(yōu)化配置值，再按節(jié)點和任務