面向多磁盤集群的Hadoop系統(tǒng)I-O優(yōu)化研究.pdf

1、Hadoop系統(tǒng)以其高可用性與高可靠性成為了當(dāng)今大數(shù)據(jù)應(yīng)用最常用的處理工具。為滿足大數(shù)據(jù)存儲(chǔ)與處理的需求，主流的IT公司以及學(xué)術(shù)機(jī)構(gòu)的Hadoop集群均由多磁盤節(jié)點(diǎn)構(gòu)成。然而，在Hadoop系統(tǒng)粗粒度的管理方式下，多磁盤提供的I/O性能仍然無法匹配CPU的處理能力，使得磁盤I/O成為系統(tǒng)的性能瓶頸。多任務(wù)并發(fā)導(dǎo)致的I/O爭用、多磁盤的I/O負(fù)載不均衡等現(xiàn)象，都使得多磁盤集群下Hadoop系統(tǒng)的I/O性能提升變得艱難。
　　多磁盤集

2、群下I/O高效的Kangaroo系統(tǒng)，對Hadoop系統(tǒng)進(jìn)行了優(yōu)化與修改，使其能更高效地在多磁盤集群環(huán)境中進(jìn)行I/O密集型應(yīng)用的處理。該系統(tǒng)提出了一套磁盤粒度的I/O優(yōu)化方案，首先擴(kuò)展了HDFS（Hadoop Distributed File System）的地址結(jié)構(gòu)，獲取到文件數(shù)據(jù)塊在節(jié)點(diǎn)及磁盤上的分布信息，為磁盤粒度的I/O優(yōu)化提供基礎(chǔ)條件，然后從三個(gè)方面實(shí)現(xiàn)了磁盤粒度的優(yōu)化：磁盤感知的任務(wù)調(diào)度，使用磁盤粒度的任務(wù)調(diào)度算法解決輸入數(shù)

3、據(jù)讀取時(shí)多Map任務(wù)之間的I/O爭用，從而獲取更快的數(shù)據(jù)讀取速率；全局的I/O管理，將Map/Reduce任務(wù)的中間數(shù)據(jù)溢出進(jìn)行統(tǒng)一地調(diào)配，解決了任務(wù)在中間數(shù)據(jù)溢出時(shí)多磁盤I/O負(fù)載不均衡的問題；基于磁盤的作業(yè)結(jié)果輸出，利用管道以及Round-Robin等均衡多Reduce任務(wù)輸出時(shí)集群磁盤的I/O負(fù)載。這些磁盤粒度的I/O優(yōu)化方法均從任務(wù)級別入手，提高系統(tǒng)在多磁盤集群中任務(wù)處理各階段的I/O性能，并最終提高系統(tǒng)的整體性能。