基于HBase的嵌套式數據存儲系統(tǒng)設計與實現.pdf

1、隨著互聯(lián)網時代的來臨，數據量迅猛增長，如何合理有效地存儲和利用大數據顯得尤為重要。針對大數據對于擴展能力及數據格式的需求，業(yè)界提出了NoSQL數據庫的解決方案。NoSQL采用了分布式的存儲架構和無模式的存儲格式，以滿足存儲過程中容量不斷增長的需求，同時更加靈活地為用戶業(yè)務變更提供方便。但是正是由于NoSQL數據庫在這些方面的設計調整，減弱了數據在存儲過程中的關聯(lián)性。導致使用NoSQL數據庫進行大數據分析時，數據讀取速度慢，查詢過程更為復

2、雜。
　　針對NoSQL關于數據分析能力的不足，結合Dremel論文提出的嵌套式數據存儲格式的思想，本文提出了基于HBase的嵌套式數據存儲系統(tǒng)，來解決大數據存儲和分析過程中遇到的問題。本文主要工作如下:
　　1)基于HBase的嵌套式數據存儲系統(tǒng)采用了HBase原有的分布式存儲架構。繼承HBase擴展性好、可用性高的特點。使用HMaster對于數據存儲系統(tǒng)進行管理操作，利用HRegionServer對于每個子節(jié)點上的數據存

3、儲進行管理。
　　2)對于HBase按列存儲格式進行格式轉換。重構HRegion類，添加數據轉換模塊，將HBase原有列式存儲格式轉換為嵌套式數據存儲格式。利用基于Dremel實現的嵌套式數據存儲文件格式Parquet對于數據進行持久化工作。
　　3)實現基于HBase的嵌套式數據存儲系統(tǒng)的存儲和讀取模塊。完成基于HBase的嵌套式數據存儲系統(tǒng)的讀寫功能。并強化了讀取模塊中的查詢功能。
　　4)通過數據分析實驗驗證基于

4、HBase的嵌套式數據存儲系統(tǒng)在數據分析過程中的性能提升。利用MapReduce計算框架對存儲數據進行分析，其結果顯示基于HBase的嵌套式存儲系統(tǒng)按列查詢性能比原HBase存儲系統(tǒng)提升三分之一左右。當存儲表中列數目增加時，基于HBase的嵌套式存儲系統(tǒng)耗時增加更少。
　　基于HBase的嵌套式數據存儲系統(tǒng)可以滿足對于大數據讀寫性能的要求，同時在進行大數據分析的過程中，減少了對于不必要數據的讀取開銷，降低了磁盤和CPU的損耗，加快