Hadoop網(wǎng)絡(luò)日志分析系統(tǒng)性能優(yōu)化算法研究.pdf

1、Hadoop作為一個(gè)分布式計(jì)算框架，是網(wǎng)絡(luò)日志分析的主流工具之一。衍生的Hadoop系統(tǒng)從I/O性能、任務(wù)調(diào)度、MapReduce模型等方面提出了諸多縮短處理時(shí)間的解決方案，但它們?cè)诰W(wǎng)絡(luò)日志分析作業(yè)中對(duì)處理效率地提升仍不能滿足變化的需求。在互聯(lián)網(wǎng)公司和科研機(jī)構(gòu)中計(jì)算機(jī)資源有限，網(wǎng)絡(luò)日志分析的需求是不斷增長(zhǎng)和變化的，Hadoop網(wǎng)絡(luò)日志分析系統(tǒng)往往會(huì)因日志數(shù)量增長(zhǎng)而速度減慢，整個(gè)集群的吞吐率不斷降低。
　　通過研究網(wǎng)絡(luò)日志的內(nèi)容特性

2、、分析方法，以及Hadoop的計(jì)算框架等內(nèi)容，本文提出了針對(duì)Hadoop網(wǎng)絡(luò)日志分析系統(tǒng)的四種性能優(yōu)化方案：合并作業(yè)以共享I/O，把相似作業(yè)合并以節(jié)省多次讀取數(shù)據(jù)集的時(shí)間；小作業(yè)分組數(shù)據(jù)預(yù)取，以節(jié)省讀取掃描額外數(shù)據(jù)集的時(shí)間；Reduce負(fù)載均衡，縮短Reduce階段的處理時(shí)間；多個(gè)復(fù)雜模塊聯(lián)合調(diào)優(yōu)，綜合前三個(gè)方案以協(xié)調(diào)多個(gè)階段累積節(jié)約處理時(shí)間。這四種優(yōu)化方案在一些階段節(jié)約了時(shí)間，理論計(jì)算表明這四種方案是可以在約定條件下實(shí)現(xiàn)總體處理時(shí)間縮