HBase數(shù)據(jù)庫(kù)評(píng)測(cè)關(guān)鍵技術(shù)的研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，互聯(lián)網(wǎng)信息系統(tǒng)應(yīng)用的數(shù)據(jù)規(guī)模不斷擴(kuò)大，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)難以滿足對(duì)海量數(shù)據(jù)的存儲(chǔ)與處理的需求。為了解決海量數(shù)據(jù)的存儲(chǔ)與處理問(wèn)題，各大互聯(lián)網(wǎng)公司以及科研機(jī)構(gòu)紛紛提出應(yīng)對(duì)不同場(chǎng)景的NoSQL解決方案，其中 HBase應(yīng)用最為廣泛。但是，隨著 HBase數(shù)據(jù)庫(kù)的普及與推廣，如何對(duì)HBase數(shù)據(jù)庫(kù)進(jìn)行評(píng)測(cè)已成為學(xué)術(shù)界研究的熱點(diǎn)。通過(guò)測(cè)試，模擬生產(chǎn)環(huán)境中的真實(shí)負(fù)載以及故障，以達(dá)到對(duì)HBase數(shù)據(jù)庫(kù)進(jìn)行性能分析和調(diào)優(yōu)的目的，

2、對(duì)HBase數(shù)據(jù)庫(kù)的發(fā)展具有重要意義。本文主要從性能測(cè)試和容錯(cuò)性測(cè)試兩個(gè)方向，提出對(duì)HBase數(shù)據(jù)庫(kù)進(jìn)行評(píng)測(cè)的方案，并設(shè)計(jì)實(shí)現(xiàn)了HBase數(shù)據(jù)庫(kù)評(píng)測(cè)平臺(tái)。
　　本文構(gòu)建了分布式性能測(cè)試工具，并針對(duì)HBase數(shù)據(jù)庫(kù)的特征，提出了性能評(píng)測(cè)指標(biāo)體系。該工具采用經(jīng)典主從分布式結(jié)構(gòu)，避免了負(fù)載發(fā)生端成為系統(tǒng)瓶頸的問(wèn)題，可以將負(fù)載發(fā)生端部署在多臺(tái)廉價(jià)PC機(jī)上。在實(shí)現(xiàn)過(guò)程中，本文突破了數(shù)據(jù)發(fā)布與訂閱、分布式互斥鎖、分布式路障等多項(xiàng)技術(shù)難點(diǎn)。

3、r>　　本文采用故障注入的方式，對(duì)HBase數(shù)據(jù)庫(kù)的容錯(cuò)性進(jìn)行全方位的評(píng)估。本文從HBase數(shù)據(jù)庫(kù)整體的架構(gòu)入手，結(jié)合其獨(dú)特的運(yùn)行機(jī)制，在進(jìn)程、組件、功能和網(wǎng)絡(luò)四個(gè)層次對(duì)其進(jìn)行故障注入測(cè)試，分別模擬現(xiàn)實(shí)生產(chǎn)環(huán)境中可能出現(xiàn)的多種軟硬件故障，構(gòu)建了一套HBase數(shù)據(jù)庫(kù)故障注入工具。
　　最后，本文搭建了由4臺(tái)服務(wù)器組成的小型HBase數(shù)據(jù)庫(kù)系統(tǒng)。結(jié)合分布式性能測(cè)試工具和故障注入工具對(duì)HBase數(shù)據(jù)庫(kù)進(jìn)行評(píng)測(cè)，分析了相應(yīng)實(shí)驗(yàn)結(jié)果，并給出