基于HBase的大規(guī)模數(shù)據(jù)存儲(chǔ)解決方案的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)以及信息網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，人們迎來了海量數(shù)據(jù)的時(shí)代，每天都面臨著大量的數(shù)據(jù)信息，個(gè)人通過互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)也在呈爆炸式增長。從傳統(tǒng)的文本數(shù)據(jù)發(fā)展到文檔、視頻、音頻以及圖片等多種數(shù)據(jù)類型，這種從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)種類的轉(zhuǎn)變，對(duì)個(gè)人數(shù)據(jù)的存儲(chǔ)也提出了新的要求，同時(shí)給互聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)管理帶來巨大的挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫只提供對(duì)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及管理，對(duì)于海量的非結(jié)構(gòu)化數(shù)據(jù)難以應(yīng)對(duì)，所以新興的非關(guān)系型數(shù)據(jù)庫技術(shù)為海量、異構(gòu)的

2、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)帶來了契機(jī)。
　　本文針對(duì)瘦客戶端用戶海量數(shù)據(jù)的存儲(chǔ)需求，提出了海量數(shù)據(jù)的分布式存儲(chǔ)解決方案，設(shè)計(jì)實(shí)現(xiàn)了基于HBase的大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)，解決了各類海量數(shù)據(jù)的統(tǒng)一存儲(chǔ)問題。
　　首先，根據(jù)瘦客戶端大規(guī)模數(shù)據(jù)存儲(chǔ)的需求，改進(jìn)了網(wǎng)絡(luò)磁盤應(yīng)用，并實(shí)現(xiàn)了將數(shù)據(jù)從原有數(shù)據(jù)庫到HBase數(shù)據(jù)庫的遷移。利用HBase數(shù)據(jù)庫為瘦客戶端用戶在云端分配一個(gè)私人存儲(chǔ)空間，瘦客戶端用戶可以進(jìn)行各種文件的上傳、下載操作，通過網(wǎng)絡(luò)磁盤

3、將用戶數(shù)據(jù)轉(zhuǎn)移到云端統(tǒng)一存儲(chǔ)和管理。
　　其次，云端數(shù)據(jù)的存儲(chǔ)采用HBase集群的方式，利用HBase這種新型的數(shù)據(jù)庫的列式存儲(chǔ)以及可伸縮性，在低廉的硬件環(huán)境中搭建高效的存儲(chǔ)集群等特性，實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)的分布式存儲(chǔ)。通過將多媒體瘦客戶端的網(wǎng)絡(luò)磁盤用戶的存儲(chǔ)空間掛載到HBase分布式集群中，實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)的高效存儲(chǔ)。
　　再次，針對(duì)HBase集群在存儲(chǔ)大規(guī)模數(shù)據(jù)時(shí)存在的一些弊端進(jìn)行改進(jìn)，主要對(duì)數(shù)據(jù)插入和讀取的有關(guān)機(jī)制進(jìn)行了優(yōu)化。

4、針對(duì)用戶存儲(chǔ)的不同大小的數(shù)據(jù)，分別進(jìn)行存儲(chǔ)，由于大數(shù)據(jù)在存儲(chǔ)的過程中，很快就會(huì)使存儲(chǔ)它的Region達(dá)到分裂的閾值，這樣會(huì)頻繁的觸發(fā)它的分裂和合并操作，而進(jìn)行這種操作的過程中會(huì)阻塞用戶的寫入進(jìn)程，從而影響集群的插入性能。通過將大數(shù)據(jù)單獨(dú)放在一個(gè)獨(dú)立的列族實(shí)現(xiàn)對(duì)大數(shù)據(jù)的高效管理，同時(shí)改進(jìn)數(shù)據(jù)存儲(chǔ)中的Flush、Compactin機(jī)制。對(duì)于HBase自身的日志備份過程，通過引入遠(yuǎn)程日志過程，確保在數(shù)據(jù)存儲(chǔ)可用性和持久性的前提下，實(shí)現(xiàn)對(duì)系統(tǒng)時(shí)