基于Hadoop與HBase的文件存儲系統(tǒng)應(yīng)用研究.pdf

1、Web2.0時(shí)代的到來，互聯(lián)網(wǎng)產(chǎn)業(yè)得到了迅速的發(fā)展，涌現(xiàn)出各式各樣的互聯(lián)網(wǎng)服務(wù)，例如，通過社交網(wǎng)站，人們可以和自己的朋友分享自己生活的點(diǎn)點(diǎn)滴滴，通過互聯(lián)網(wǎng)云存儲服務(wù)，人們可以將自己的文件上傳到互聯(lián)網(wǎng)，然后只要有網(wǎng)絡(luò)接入，就可以隨時(shí)訪問自己的文件。類似這些的互聯(lián)網(wǎng)服務(wù)，必然會在網(wǎng)站的后臺產(chǎn)生海量的用戶文件，比如用戶上傳的照片，音樂，甚至是視頻，而移動互聯(lián)網(wǎng)的誕生進(jìn)一步導(dǎo)致用戶數(shù)據(jù)急劇地增長。如何在兼顧到成本條件下，對這些海量的用戶數(shù)據(jù)進(jìn)行

2、高效的存儲與訪問，是一項(xiàng)巨大的挑戰(zhàn)。傳統(tǒng)的文件存儲難以擴(kuò)容的特點(diǎn)決定了它無法對海量數(shù)據(jù)進(jìn)行存儲，分布式文件系統(tǒng)可以通過增加集群的機(jī)器數(shù)量來完成對海量數(shù)據(jù)的存儲。
　　Hadoop作為一個(gè)開源的并行計(jì)算框架，它提供了一個(gè)分布式的文件存儲系統(tǒng)HDFS，并且它能夠運(yùn)行于廉價(jià)的機(jī)器上而不用擔(dān)心文件的丟失。另一方面，HBase作為構(gòu)建在HDFS之上的面向列的分布式數(shù)據(jù)庫，具有隨機(jī)實(shí)時(shí)讀寫的特征。本文結(jié)合Hadoop與HBase技術(shù)，提出了一

3、種基于Hadoop與HBase混合體系結(jié)構(gòu)的文件存儲方案。
　　由于HDFS文件系統(tǒng)本身比較適合存儲較大文件，存儲眾多的小文件時(shí)，元數(shù)據(jù)會急劇地消耗掉Namenode的內(nèi)存空間，從而制約了文件系統(tǒng)的可擴(kuò)展性。本文結(jié)合了Hadoop與HBase，提出了自己的一套文件存儲方案，有效的解決了小文件存儲問題，同時(shí)又保證了存儲與訪問的性能。即:對于圖片文件，一般來說，其大小都在幾十KB到幾MB之內(nèi)，可以先將圖片數(shù)據(jù)轉(zhuǎn)化為Base64編碼，將

4、轉(zhuǎn)化后的Base64編碼持久化到HBase數(shù)據(jù)庫里面，訪問圖片時(shí)，先從HBase里面取出Base64編碼，解碼成為圖片的二進(jìn)制形式返回給請求方;另一方面，對于非圖片文件，根據(jù)文件自身大小決定它的存儲方案，如果文件比較?。ㄐ∮谀骋慌渲弥担?，可以采取與圖片存儲一樣方案，如果文件大小大于配置值，則可以將其直接存儲到HDFS中，并且在HBase中保存該文件的元數(shù)據(jù)，如HDFS中的路徑，文件名等。對于HDFS中的文件，定期運(yùn)行后臺任務(wù)，將符合條件