基于性能預(yù)估的Hadoop參數(shù)自動(dòng)調(diào)優(yōu)系統(tǒng).pdf

1、MapReduce是處理大規(guī)模數(shù)據(jù)的有效工具,Hadoop是MapReduce的一個(gè)開源實(shí)現(xiàn),由于其良好的容錯(cuò)性和可擴(kuò)展性得到的廣泛研究和使用。然而,為了有效的使用Hadoop集群資源,即使在Hadoop中運(yùn)行一個(gè)簡單的程序也需要用戶或者管理員調(diào)整大量的Hadoop參數(shù)。在Hadoop中有190個(gè)的參數(shù),這些參數(shù)控制著MapReduce作業(yè)在Hadoop中的運(yùn)行行為。用戶經(jīng)常會(huì)因?yàn)椴恢廊绾卧O(shè)置這些參數(shù)而遇到性能問題。
　　基于性

2、能預(yù)估的Hadoop參數(shù)自動(dòng)調(diào)優(yōu)系統(tǒng)HCOpt,針對(duì)Hadoop的高可配置性,通過動(dòng)態(tài)字節(jié)碼注入技術(shù)追蹤MapReduce作業(yè)的運(yùn)行信息,并對(duì)這些信息進(jìn)行統(tǒng)計(jì)分析,提取Hadoop應(yīng)用程序的運(yùn)行特性;再通過輕量級(jí)MapReduce模擬器以及代價(jià)模型,結(jié)合Hadoop應(yīng)用程序的運(yùn)行特征預(yù)估該程序在指定參數(shù)配置方案下的運(yùn)行性能;通過一種基于遺傳算法的參數(shù)調(diào)優(yōu)算法,結(jié)合性能預(yù)估,在大量的參數(shù)配置方案中搜索近似最優(yōu)的參數(shù)配置方案,實(shí)現(xiàn)Hadoo

3、p參數(shù)自動(dòng)調(diào)優(yōu)功能。HCOpt通過動(dòng)態(tài)字節(jié)碼注入技術(shù)來追蹤MapReduce作業(yè)運(yùn)行信息,將系統(tǒng)對(duì)應(yīng)用程序的運(yùn)行影響以及和Hadoop之間的耦合度降到最低,可以很好的適應(yīng)各種版本的Hadoop,同時(shí)通過對(duì)Hadoop參數(shù)的調(diào)優(yōu),在相同的硬件條件下充分利用系統(tǒng)資源提高了Hadoop應(yīng)用程序的運(yùn)行性能。
　　通過典型的Hadoop應(yīng)用程序測試HCOpt的有效性,結(jié)果分析表明對(duì)I/O密集型和計(jì)算密集型應(yīng)用均有較好的性能提升效果,和系統(tǒng)默