基于機器學習的Hadoop參數(shù)調(diào)優(yōu)方法.pdf

1、在大數(shù)據(jù)技術向各行各業(yè)普及的背景下，以MapReduce為代表，相關系統(tǒng)、平臺被廣泛、規(guī)?；渴穑欢趯嶋H應用場景中部署的此類系統(tǒng)由于其應用環(huán)境的復雜性，以及系統(tǒng)性能調(diào)優(yōu)上的緊迫需求與專業(yè)性，要實現(xiàn)系統(tǒng)良好運轉(zhuǎn)，往往依賴于運維人員的長期經(jīng)驗積累。僅僅采用通用化方案部署系統(tǒng)使其運轉(zhuǎn)，經(jīng)常造成嚴重性能問題，因為一般用戶或者不知道系統(tǒng)中有哪些參數(shù)與目標應用有關；或者不清楚應該如何合理設置這些參數(shù)；又或者參數(shù)之間存在各種潛在關系，需要加以分析

2、進行復雜權衡折衷。作為大數(shù)據(jù)分析平臺的代表，MapReduce擁有巨大的參數(shù)空間，其中有70多個參數(shù)影響作業(yè)性能，直接造成MapReduce作業(yè)參數(shù)的調(diào)整艱巨而費時。此外，Hadoop應用類型繁多，若未充分分析應用特性，要決定合適的參數(shù)也是非常困難的?，F(xiàn)有調(diào)整方法需要人工介入，緩慢且效率低下，更難以應對大量參數(shù)、系統(tǒng)規(guī)模與應用數(shù)據(jù)的增長速度。
　　本設計并實現(xiàn)了一個基于機器學習技術的Hadoop作業(yè)參數(shù)調(diào)優(yōu)方法并在本文搭建的系統(tǒng)H

3、MAT(Hadoop Parameters Auto-Tuning System Based On Machine Learning)中得到有效驗證，針對Hadoop的豐富配置參數(shù)，給定集群硬件，利用一種新穎的兩階段機器學習來為新提交的任務進行參數(shù)自動調(diào)優(yōu)。其技術核心是一個基于支持向量機的性能模型，該模型用于匹配Hadoop作業(yè)的輸入數(shù)據(jù)規(guī)模和參數(shù)配置。為實現(xiàn)匹配，需綜合分析歷史作業(yè)資源使用特征與配置情況，然后進行相應決策。首先本文通過