Memcached內(nèi)存替換算法研究.pdf

1、隨著數(shù)據(jù)量的增長(zhǎng)及應(yīng)用的擴(kuò)大，基于內(nèi)存的數(shù)據(jù)庫(kù)在數(shù)據(jù)訪問過程中扮演越來越重要的角色。內(nèi)存數(shù)據(jù)庫(kù)相對(duì)于普通持久型數(shù)據(jù)庫(kù)有著訪問速度快、輕量、易管理等特點(diǎn)，被廣泛應(yīng)用于各種大型數(shù)據(jù)中心。Memcached作為一種常見的內(nèi)存數(shù)據(jù)庫(kù)在Facebook、Twitter、Sina等中得到應(yīng)用，然而Memcached在內(nèi)存替換算法上仍存在無法有效地處理數(shù)據(jù)大小變化較大的不足，當(dāng)發(fā)生“鈣化”現(xiàn)象時(shí)，Memcached會(huì)出現(xiàn)命中率降低、訪問延遲增大等結(jié)果

2、，嚴(yán)重制約了各種依靠Memcahced作為數(shù)據(jù)緩存的系統(tǒng)的性能。
　　本文對(duì)Memcached所處理數(shù)據(jù)的特點(diǎn)進(jìn)行了研究與分析，發(fā)現(xiàn)不同大小的Item的訪問對(duì)一個(gè)Slab是否成為一個(gè)熱的Slab影響程度不同，而不是以前研究中所提到的固定關(guān)系，同時(shí)研究了 Slab與 Item的關(guān)系，提出了基于影響因子與淘汰代價(jià)的Memcached內(nèi)存替換算法。影響因子是根據(jù)不同大小的Item對(duì)這個(gè)Item所在的Slab是否成為熱的Slab影響程度不

3、同而設(shè)計(jì)的，大的Item比小的Item更能使Slab成為一個(gè)熱的Slab，進(jìn)而免于淘汰。同時(shí)重新定義了Item平均訪問頻度這一概念：?jiǎn)蝹€(gè)item所承受的訪問請(qǐng)求而不是整個(gè)Slab；發(fā)現(xiàn)了不同順序的訪問對(duì)Slab是否成為熱的S la b影響程度不同這一現(xiàn)象并采用“半衰期”方法量化這種影響，最后利用這兩個(gè)因素動(dòng)態(tài)地更新影響因子的大小。淘汰代價(jià)指的是淘汰一個(gè)Slab和Item的代價(jià)，在Memcached內(nèi)存不足時(shí)，通過最近訪問次數(shù)、訪問時(shí)間、

4、大小等計(jì)算淘汰一個(gè)Slab及Item的代價(jià)大小來確定是淘汰一個(gè)Slab還是Item，而不同于以前研究中提到簡(jiǎn)單的主動(dòng)與被動(dòng)S la b淘汰策略。
　　改進(jìn)的方法提高了Memcached在內(nèi)存不足時(shí)處理數(shù)據(jù)訪問的能力。測(cè)試結(jié)果表明，改進(jìn)的方法在命中率上有5％左右的提升并將讀寫延遲降低了2%到4.5%。同時(shí)改進(jìn)方案優(yōu)化了Slab和Item淘汰數(shù)量，最后將改進(jìn)的方法在pNFS中進(jìn)行了應(yīng)用，測(cè)試表明改進(jìn)的方法降低了pNFS系統(tǒng)的讀寫延遲，