基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的來臨，數(shù)據(jù)量迅猛增長，如何合理有效地存儲(chǔ)和利用大數(shù)據(jù)顯得尤為重要。針對(duì)大數(shù)據(jù)對(duì)于擴(kuò)展能力及數(shù)據(jù)格式的需求，業(yè)界提出了NoSQL數(shù)據(jù)庫的解決方案。NoSQL采用了分布式的存儲(chǔ)架構(gòu)和無模式的存儲(chǔ)格式，以滿足存儲(chǔ)過程中容量不斷增長的需求，同時(shí)更加靈活地為用戶業(yè)務(wù)變更提供方便。但是正是由于NoSQL數(shù)據(jù)庫在這些方面的設(shè)計(jì)調(diào)整，減弱了數(shù)據(jù)在存儲(chǔ)過程中的關(guān)聯(lián)性。導(dǎo)致使用NoSQL數(shù)據(jù)庫進(jìn)行大數(shù)據(jù)分析時(shí)，數(shù)據(jù)讀取速度慢，查詢過程更為復(fù)

2、雜。
　　針對(duì)NoSQL關(guān)于數(shù)據(jù)分析能力的不足，結(jié)合Dremel論文提出的嵌套式數(shù)據(jù)存儲(chǔ)格式的思想，本文提出了基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)，來解決大數(shù)據(jù)存儲(chǔ)和分析過程中遇到的問題。本文主要工作如下:
　　1)基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)采用了HBase原有的分布式存儲(chǔ)架構(gòu)。繼承HBase擴(kuò)展性好、可用性高的特點(diǎn)。使用HMaster對(duì)于數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理操作，利用HRegionServer對(duì)于每個(gè)子節(jié)點(diǎn)上的數(shù)據(jù)存

3、儲(chǔ)進(jìn)行管理。
　　2)對(duì)于HBase按列存儲(chǔ)格式進(jìn)行格式轉(zhuǎn)換。重構(gòu)HRegion類，添加數(shù)據(jù)轉(zhuǎn)換模塊，將HBase原有列式存儲(chǔ)格式轉(zhuǎn)換為嵌套式數(shù)據(jù)存儲(chǔ)格式。利用基于Dremel實(shí)現(xiàn)的嵌套式數(shù)據(jù)存儲(chǔ)文件格式Parquet對(duì)于數(shù)據(jù)進(jìn)行持久化工作。
　　3)實(shí)現(xiàn)基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)的存儲(chǔ)和讀取模塊。完成基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)的讀寫功能。并強(qiáng)化了讀取模塊中的查詢功能。
　　4)通過數(shù)據(jù)分析實(shí)驗(yàn)驗(yàn)證基于

4、HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)在數(shù)據(jù)分析過程中的性能提升。利用MapReduce計(jì)算框架對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行分析，其結(jié)果顯示基于HBase的嵌套式存儲(chǔ)系統(tǒng)按列查詢性能比原HBase存儲(chǔ)系統(tǒng)提升三分之一左右。當(dāng)存儲(chǔ)表中列數(shù)目增加時(shí)，基于HBase的嵌套式存儲(chǔ)系統(tǒng)耗時(shí)增加更少。
　　基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)可以滿足對(duì)于大數(shù)據(jù)讀寫性能的要求，同時(shí)在進(jìn)行大數(shù)據(jù)分析的過程中，減少了對(duì)于不必要數(shù)據(jù)的讀取開銷，降低了磁盤和CPU的損耗，加快