基于HBase的小文件存儲系統(tǒng)的研究及實(shí)現(xiàn).pdf

1、如今，信息社會已進(jìn)入云計(jì)算時(shí)代，數(shù)據(jù)的生產(chǎn)速度越來越快，一些企業(yè)和組織機(jī)構(gòu)積累的數(shù)據(jù)量也越來越龐大，海量數(shù)據(jù)的處理和應(yīng)用已成為當(dāng)今信息技術(shù)領(lǐng)域所面臨的巨大難題。Hadoop作為處理海量數(shù)據(jù)的一大利器，是當(dāng)前云計(jì)算技術(shù)中最熱門的話題之一，而與Hadoop同一陣營的HBase則為海量數(shù)據(jù)的實(shí)時(shí)讀寫提供了一套解決方案。HBase是Apache Hadoop生態(tài)圈的重要組成部分，通常使用Hadoop文件系統(tǒng)(HDFS)作為其底層的存儲平臺，是一

2、個(gè)高可靠性，高性能，面向列且伸縮性強(qiáng)的分布式非關(guān)系數(shù)據(jù)庫。HBase在起初設(shè)計(jì)時(shí)忽略了許多SQL操作并著重加強(qiáng)了對系統(tǒng)高性能、高容量、高可靠性和可伸縮性等特性的開發(fā)，已成為現(xiàn)今最流行的NoSQL數(shù)據(jù)庫之一。
　　本文首先從當(dāng)前形勢出發(fā)，探討了當(dāng)前云計(jì)算時(shí)代的熱點(diǎn)問題，歸納總結(jié)出云計(jì)算的概念和技術(shù)體系結(jié)構(gòu)，理清了當(dāng)前技術(shù)變革的原因、動力和方向。然后，通過對Hadoop兩個(gè)核心組件和NoSQL理論的研究和介紹，詳細(xì)的說明了當(dāng)前業(yè)界用以

3、處理海量數(shù)據(jù)的最先進(jìn)的分布式系統(tǒng)的設(shè)計(jì)思想和架構(gòu)技術(shù)，闡述了HBase誕生的技術(shù)基礎(chǔ)和理論基礎(chǔ)。隨后詳細(xì)的闡述了HBase系統(tǒng)的設(shè)計(jì)原理和它的內(nèi)部構(gòu)造，并進(jìn)一步對其訪問流程作深入的探究。在此基礎(chǔ)上，本文提出優(yōu)化HBase系統(tǒng)的思路和出發(fā)點(diǎn)，并給出了在實(shí)踐操作中總結(jié)出的幾個(gè)簡單有效地的優(yōu)化方法。
　　本文在實(shí)驗(yàn)部分提出并實(shí)施了基于HBase的小文件系統(tǒng)的設(shè)計(jì)方案。在HBase表結(jié)構(gòu)設(shè)計(jì)上，使用了簡單的二級索引技術(shù)。對于實(shí)驗(yàn)系統(tǒng)的上傳