高性能高可用鍵值存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、21世紀初期,互聯(lián)網(wǎng)進入了一個全新的發(fā)展高峰期。數(shù)據(jù)量以指數(shù)增長,提高對海量數(shù)據(jù)的管理、訪問能力的需求變得越來越迫切。海量的數(shù)據(jù)和巨大的用戶數(shù)量對存儲資源和計算資源的可擴展性提出了巨大的挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)并不能提供這些應用所需要的高可擴展性。一種新型的、存儲非關(guān)系型數(shù)據(jù)的、具有高可擴展性的鍵值存儲系統(tǒng)應運而生。本文首先介紹了研究背景。其次,分析了分布式文件系統(tǒng)、P2P系統(tǒng)與鍵值存儲系統(tǒng)相關(guān)的關(guān)鍵技術(shù)。最后,設(shè)計了一個高可靠、高

2、擴展性、高可用的鍵值存儲系統(tǒng)KV-Store。KV-Store具有的基本特征或創(chuàng)新點:
　　 第一基于改進的一致性哈希算法的數(shù)據(jù)分散算法,該算法成功地解決了基本的一致性哈希算法和Dynamo使用的數(shù)據(jù)分配算法存在的熱點問題、數(shù)據(jù)分散和集群拓撲的緊耦合問題、存儲節(jié)點的異構(gòu)性問題。
　　 第二基于PG劃分的負載均衡算法。使用哈希算法進行數(shù)據(jù)分散的一個根本缺點是這種映射關(guān)系是不可改變的。映射關(guān)系不能改變直接導致了數(shù)據(jù)的位置不能

3、根據(jù)系統(tǒng)的負載進行動態(tài)的改變,所以一旦系統(tǒng)出現(xiàn)熱點或負載失衡將束手無策。KV-Store使用了哈希算法進行數(shù)據(jù)分散,同時也創(chuàng)造性的實現(xiàn)了動態(tài)的負載均衡算法。
　　 第三基于Chubby的消息傳輸和集群管理。Chord,BT等P2P系統(tǒng)通過復雜的路由和查詢協(xié)議進行消息的傳輸,KV-Store使用Chubby的改進版進行集群管理和消息的快速傳輸。
　　 第四KV-Store使得元數(shù)據(jù)和數(shù)據(jù)徹底解耦合。與傳統(tǒng)的文件存儲系統(tǒng)不同