HDFS優(yōu)化研究及其在云存儲平臺中應(yīng)用.pdf

1、隨著信息化時代的發(fā)展，人們更多的依賴網(wǎng)絡(luò)，導(dǎo)致互聯(lián)網(wǎng)用戶的激增，網(wǎng)絡(luò)信息數(shù)據(jù)量呈爆炸式增長，這些數(shù)據(jù)中有百分之八十是文件、圖像、音頻等大文件，數(shù)據(jù)量甚至?xí)_(dá)到 PB級。如此海量的數(shù)據(jù)存儲成為當(dāng)前研究的熱點(diǎn)，也逐漸地成為制約企業(yè)長足發(fā)展的問題。于是，構(gòu)建高可用的存儲網(wǎng)絡(luò)成為當(dāng)下的研究熱門，分布式文件存儲系統(tǒng)便應(yīng)運(yùn)而生。HDFS運(yùn)用于海量數(shù)據(jù)存儲的場景，但是在架構(gòu)上仍存在不足，因此，本文提出一種改進(jìn)的方案并將優(yōu)化后的HDFS應(yīng)用到實(shí)際場景中

2、。所做的主要工作如下：
　　首先，針對HDFS的單一namenode架構(gòu)問題，提出搭建datanode集群的優(yōu)化方案。在該方案中搭建datanode集群，每個小集群中都有一個namenode管理集群中的各datanode，同時將namenode中文件元數(shù)據(jù)信息緩存到datanode集群中，這樣就減少了客戶端與namenode的交互所帶來的namenode的內(nèi)存壓力。優(yōu)化后的HDFS中會包括多個namenode，其中某一個集群中的n

3、amenode失效也不會導(dǎo)致整個HDFS癱瘓。此外，設(shè)計了索引服務(wù)，管理文件到namenode的映射，從而在架構(gòu)上提升整體HDFS的性能。
　　其次，搭建優(yōu)化后的HDFS集群并實(shí)際應(yīng)用到基于云計算的高校綜合信息管理平臺，解決了平臺上各應(yīng)用的文件存儲問題。在優(yōu)化后的HDFS集群上用java語言設(shè)計實(shí)現(xiàn)了供各應(yīng)用存儲的HDFS存儲服務(wù)和RMI遠(yuǎn)程調(diào)用存儲服務(wù)。為了將平臺上各應(yīng)用上傳的文件進(jìn)行統(tǒng)一管理，使用ZK+Spring+Strut