HDFS云存儲(chǔ)系統(tǒng)可用性能的優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)信息化技術(shù)的迅猛發(fā)展，直接導(dǎo)致了數(shù)據(jù)的急劇暴增。為解決海量數(shù)據(jù)的存儲(chǔ)和處理，分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生并迅速成為趨勢(shì)。Hadoop是Apache研發(fā)的一個(gè)開(kāi)源的分布式云計(jì)算軟件框架，能夠?yàn)楫?dāng)前大數(shù)據(jù)提供計(jì)算與存儲(chǔ)服務(wù)。HDFS是Hadoop的分布式文件系統(tǒng)，采用主從式的分布式系統(tǒng)架構(gòu)，但由于它只有一個(gè)NameNode節(jié)點(diǎn)，會(huì)產(chǎn)生單點(diǎn)故障問(wèn)題，所以它并不支持系統(tǒng)的高可用性。所以它并不支持系統(tǒng)的高可用性。隨著海量數(shù)據(jù)的急劇膨脹，HDFS本

2、身架構(gòu)所存在的缺陷問(wèn)題也越來(lái)越凸顯，單一NameNode架構(gòu)直接嚴(yán)重影響到了系統(tǒng)的可用性，成為了整個(gè)分布式文件系統(tǒng)的性能瓶頸。
　　本文對(duì)HDFS的體系架構(gòu)、元數(shù)據(jù)模型、數(shù)據(jù)組織以及數(shù)據(jù)流等進(jìn)行了詳細(xì)的解析，并簡(jiǎn)單闡述了現(xiàn)有的HDFS高可用性解決方案進(jìn)行對(duì)比分析，提出了本文的高可用性方案-基于ZooKeeper的分布式NameNode節(jié)點(diǎn)集群。本文主要工作如下：
　　（1）概述了云存儲(chǔ)的相關(guān)理論知識(shí)，對(duì)HDFS分布式文件系統(tǒng)

3、的體系架構(gòu)、數(shù)據(jù)組織與數(shù)據(jù)交互等進(jìn)行了深入的分析。另外，詳細(xì)介紹了ZooKeeper的基礎(chǔ)知識(shí)。
　　（2）介紹高可用性的相關(guān)概念并分析HDFS本身架構(gòu)所存在的缺陷，重點(diǎn)對(duì)HDFS現(xiàn)有的高可用性解決方案進(jìn)行分析，并最終提出本文的高可用性方案-基于ZooKeeper的分布式NameNode節(jié)點(diǎn)集群，然后進(jìn)行了簡(jiǎn)單的分析對(duì)比。
　?。?）本文基于ZooKeeper的分布式NameNode節(jié)點(diǎn)的高可用性方案中，利用ZooKeepe