HBase分布式緩存策略的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，大數(shù)據(jù)的價(jià)值也得到了越來越多的重視。作為大數(shù)據(jù)研究與應(yīng)用的基礎(chǔ)設(shè)施，大數(shù)據(jù)存儲(chǔ)系統(tǒng)顯得尤為重要，HBase便是其中一款典型的非關(guān)系型數(shù)據(jù)庫。當(dāng)前HBase仍然存在分區(qū)不均衡和緩存替換策略單一等問題，對(duì)集群讀寫性能造成了制約。論文針對(duì)這些問題進(jìn)行研究，致力于優(yōu)化HBase的讀寫性能。
　　論文的研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目(No.61172072、61271308)、北京市自然科學(xué)基金項(xiàng)目(No.4112

2、045)和高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(No.20100009110002)的支持。論文的主要工作如下:
　　(1)寫緩存方面:在不分區(qū)的情況下，現(xiàn)有HBase很難發(fā)揮出分布式系統(tǒng)的優(yōu)點(diǎn)。即使采用了預(yù)分區(qū)技術(shù)，也沒有一套對(duì)任何數(shù)據(jù)表存儲(chǔ)均適用的預(yù)分區(qū)方法以及一套能夠自適應(yīng)調(diào)整系統(tǒng)負(fù)載的方案。為了解決上述問題，本文設(shè)計(jì)了一種兩階段分區(qū)方法。預(yù)分區(qū)階段，利用MD5的散列效果對(duì)RowKey重新進(jìn)行設(shè)計(jì)。自適應(yīng)分區(qū)階段，本文設(shè)計(jì)了一種R

3、egionServer性能評(píng)價(jià)策略，依據(jù)該策略實(shí)現(xiàn)自適應(yīng)分區(qū)。該評(píng)價(jià)策略將層次分析和TOPSIS相結(jié)合，利用并改進(jìn)了一致性哈希算法，而且設(shè)計(jì)了一種新的數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)改進(jìn)后的一致性哈希算法。
　　(2)讀緩存方面:現(xiàn)有BlockCache的LRU緩存替換策略十分粗糙。它雖然將緩存分成多層，但是所有層均使用同一種緩存策略，即只根據(jù)數(shù)據(jù)最后一次更新時(shí)間的先后進(jìn)行緩存替換。本文將對(duì)每一層的緩存替換策略進(jìn)行進(jìn)一步的設(shè)計(jì):在Single層添加

4、了對(duì)數(shù)據(jù)熱點(diǎn)的考慮，在Multi層添加了對(duì)Block大小的權(quán)衡，同時(shí)對(duì)Single層進(jìn)入Multi層的門限參數(shù)重新進(jìn)行規(guī)定，降低FULL GC發(fā)生的概率。另一方面，針對(duì)連續(xù)數(shù)據(jù)等緊密關(guān)系數(shù)據(jù)查詢速度降低的問題，使用社區(qū)發(fā)現(xiàn)的思想設(shè)計(jì)了一個(gè)二級(jí)緩存來對(duì)其彌補(bǔ)。
　　(3)本論文準(zhǔn)備了連續(xù)型數(shù)據(jù)、隨機(jī)型數(shù)據(jù)和集中型數(shù)據(jù)來模擬不同的實(shí)驗(yàn)情景，將本文設(shè)計(jì)的HBase系統(tǒng)應(yīng)用于同構(gòu)、異構(gòu)集群中，進(jìn)行讀寫性能的測(cè)試，并與原HBase的測(cè)試結(jié)果