基于RAID5的內(nèi)存鍵值存儲系統(tǒng)的可靠性研究.pdf

1、移動互聯(lián)網(wǎng)的迅猛發(fā)展給當前應用帶來了動輒千萬的用戶，規(guī)模巨大的用戶數(shù)量產(chǎn)生了海量的數(shù)據(jù)。為了保證用戶體驗，需要極大提高海量數(shù)據(jù)的存取速度。尤其是在故障頻發(fā)的情況下，若不能保證系統(tǒng)的可用性來及時恢復數(shù)據(jù)響應用戶，應用將會面臨被淘汰的可能性。
　　為了提高系統(tǒng)性能，當前很多應用將熱點數(shù)據(jù)存儲在基于內(nèi)存的鍵值存儲系統(tǒng)中。而內(nèi)存掉電數(shù)據(jù)丟失，現(xiàn)階段通用的解決方案是通過多副本和編碼來保證數(shù)據(jù)可用性。對于內(nèi)存存儲，采用多副本方案的成本很高，而

2、通過糾錯編碼可以顯著地減少內(nèi)存存儲成本。目前，面向內(nèi)存的鍵值存儲系統(tǒng)用編碼實現(xiàn)可靠性的系統(tǒng)較少，典型的有Cocytus。但是Cocytus是基于4KB大小的粒度進行編碼，數(shù)據(jù)寫入和實時恢復上存在著放大問題；另外，Cocytus采用非中心控制架構，使得服務器間的點對點通信開銷較大，進一步影響了數(shù)據(jù)的寫入性能。
　　針對上述問題設計了一個新的內(nèi)存鍵值存儲系統(tǒng)MemcacheR。該系統(tǒng)在內(nèi)存中以單個key/value對的粒度進行RAID

3、5編碼存儲，編碼運算為異或操作，簡單高效。同時編碼粒度小，克服了Cocytus編碼粒度過大所產(chǎn)生的影響，當系統(tǒng)出現(xiàn)故障時，能夠更快速地恢復數(shù)據(jù)并返回給用戶。在系統(tǒng)中設計實現(xiàn)了集中式管理，通過中心模塊來管理 MemcacheR系統(tǒng)，避免了服務器間點對點的大量通信，明顯提高了數(shù)據(jù)的寫入性能。
　　測試結果表明，MemcacheR相較于副本系統(tǒng)能夠節(jié)約存儲成本35％~45%。讀延遲與原生的 Memcached系統(tǒng)基本持平，寫延遲比多副本