分布式鍵值存儲(chǔ)引擎的研究與實(shí)現(xiàn).pdf

1、隨著云計(jì)算和大數(shù)據(jù)技術(shù)的興起，各種海量數(shù)據(jù)級(jí)規(guī)模的應(yīng)用不斷涌現(xiàn)，這些新的應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)提出了越來(lái)越高的要求。然而，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，如 Oracle、MySQL等已經(jīng)越來(lái)越難滿(mǎn)足云計(jì)算環(huán)境下對(duì)數(shù)據(jù)存儲(chǔ)的需求。分布式非關(guān)系型數(shù)據(jù)庫(kù)充分結(jié)合分布式系統(tǒng)抗單點(diǎn)故障能力和 NoSQL的天然橫向擴(kuò)展性的特點(diǎn)，能夠從容應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)。為此，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式鍵值存儲(chǔ)引擎MiniKVDB，并基于對(duì)分布式事務(wù)和存儲(chǔ)性能擴(kuò)展的研究展開(kāi)了如

2、下工作：
　?。?）以現(xiàn)有的分布式理論為基礎(chǔ)，研究了分布式存儲(chǔ)的相關(guān)技術(shù)，介紹了分布式NoSQL數(shù)據(jù)庫(kù)的概念、特點(diǎn)以及相關(guān)基礎(chǔ)理論，并分析了目前應(yīng)用廣泛的鍵值存儲(chǔ)系統(tǒng)的架構(gòu)與優(yōu)缺點(diǎn)。在此基礎(chǔ)之上，設(shè)計(jì)了一個(gè)分布式鍵值存儲(chǔ)引擎MiniKVDB的模型。
　　（2）在討論分布式事務(wù)處理模型和提交協(xié)議的基礎(chǔ)上，設(shè)計(jì)了 MiniKVDB的分布式事務(wù)處理方案。在日志同步的模塊，深度剖析了 Raft一致性協(xié)議中的代碼結(jié)構(gòu)，采用基于TCP協(xié)

3、議中的長(zhǎng)肥管道和滑動(dòng)窗口機(jī)制，并在復(fù)制狀態(tài)機(jī)中的日志模塊中增加了內(nèi)存緩沖數(shù)據(jù)區(qū)域，對(duì)Raft協(xié)議提出改進(jìn)，實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的Raft一致性協(xié)議能減少通信負(fù)載，降低磁盤(pán)讀寫(xiě)頻率，從而使分布式系統(tǒng)具有高可用性及一致性。
　　（3）研究基于 Raft一致性協(xié)議來(lái)構(gòu)建彈性伸縮的機(jī)制和數(shù)據(jù)的分片策略，在集群中添加了 ShardMaster管理模塊來(lái)存儲(chǔ)元信息，并根據(jù)調(diào)度算法和各存儲(chǔ)單元的負(fù)載性能，在各節(jié)點(diǎn)之間轉(zhuǎn)移數(shù)據(jù)分片。
　?。?/p>