基于HDFS的小文件存儲方法的研究與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)字信息正在呈現(xiàn)爆炸式的增長,人類已步入大數(shù)據(jù)時代,傳統(tǒng)的存儲方式在處理海量數(shù)據(jù)方面顯得越來越乏力。如何高效地處理和存儲海量數(shù)據(jù)已成為一個亟待解決的問題。伴隨著數(shù)據(jù)處理以及存儲技術(shù)的快速發(fā)展,云計算的概念應(yīng)運而生。云存儲是云計算的延伸和發(fā)展,它具有結(jié)構(gòu)靈活、響應(yīng)效率高、管理方便等優(yōu)點,已經(jīng)成為世界各國解決數(shù)據(jù)爆炸性增長方案的首選。
　　Hadoop分布式文件系統(tǒng)(HDFS)作為目前應(yīng)用非常廣泛的云存儲平臺具有

2、開源、廉價、高容錯以及高可擴(kuò)展性的特點。但是由于自身的主從式結(jié)構(gòu)和元數(shù)據(jù)的存儲方式導(dǎo)致其在處理海量小文件時 NameNode內(nèi)存占用率高、存儲訪問效率低、并發(fā)用戶的訪問時延長,這些問題已經(jīng)成為制約 HDFS整體性能的瓶頸。因此,基于 HDFS的海量小文件存儲方法的研究與優(yōu)化是云計算技術(shù)領(lǐng)域的一個重要研究課題。
　　為了解決 HDFS處理海量小文件時耗費內(nèi)存資源和檢索效率低的問題,本文首先研究了 HDFS下處理小文件的現(xiàn)有方法,分析

3、了各自的優(yōu)缺點,并在此基礎(chǔ)上提出了一種具有獨立小文件處理模塊的分布式文件系統(tǒng)。該架構(gòu)是在分布式文件系統(tǒng)的基礎(chǔ)之上加入一個完全獨立于 HDFS的小文件處理模塊,負(fù)責(zé)小文件的合并、映射、預(yù)取,在傳統(tǒng) HDFS處理之前將小文件整合為大文件。該架構(gòu)使得HDFS系統(tǒng)在處理小文件的同時不影響對大文件或者對已合并小文件的寫入或讀取,從而提高系統(tǒng)的存儲訪問效率。并且,本文所提架構(gòu)更加符合傳統(tǒng) HDFS高效處理大文件的設(shè)計理念,在解決多用戶高并發(fā)訪問問題