Cassandra的數(shù)據(jù)一致性分析與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，各種類型的應(yīng)用不斷出現(xiàn)，數(shù)據(jù)量同時(shí)也在迅速地增大，這些問題對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)提出了非常大的挑戰(zhàn)，具體原因是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)存在一定的局限性，比如：難以擴(kuò)展、讀寫較慢、成本較高以及存儲(chǔ)容量有限。業(yè)界通過推出NoSQL數(shù)據(jù)庫(kù)來解決以上問題，本文分析的Cassandra屬于NoSQL數(shù)據(jù)庫(kù)中的一種，它是一個(gè)開源的分布式數(shù)據(jù)庫(kù)，其高擴(kuò)展性和高可用性等特征使得它非常適合海量數(shù)據(jù)的存儲(chǔ)。但是由于其發(fā)展時(shí)間還比較短，不可避免，

2、系統(tǒng)會(huì)存在一些缺陷與問題。本文主要對(duì)Cassandra的數(shù)據(jù)復(fù)制技術(shù)與數(shù)據(jù)一致性解決方案進(jìn)行分析，發(fā)現(xiàn)其存在的問題，并針對(duì)這些問題提出相應(yīng)的改進(jìn)方案。
　　在分布式數(shù)據(jù)庫(kù)系統(tǒng)中，數(shù)據(jù)復(fù)制技術(shù)是用來實(shí)現(xiàn)系統(tǒng)的容錯(cuò)性與可用性的重要技術(shù)，所有基于復(fù)制技術(shù)系統(tǒng)的共有特性是如何保持?jǐn)?shù)據(jù)副本的一致。分析發(fā)現(xiàn)Cassandra使用的是樂觀復(fù)制技術(shù)，相應(yīng)的副本一致性管理使用的是多主節(jié)點(diǎn)狀態(tài)傳播的一致性解決方案。本文通過源碼分析并結(jié)合測(cè)試，發(fā)現(xiàn)其副

3、本一致性解決方案中存在的問題是一致性修復(fù)策略：讀修復(fù)與提示移交機(jī)制，不能夠很好地保證副本數(shù)據(jù)的一致性。（1）讀修復(fù)機(jī)制只有在用戶讀取數(shù)據(jù)的時(shí)候才進(jìn)行數(shù)據(jù)的一致性修復(fù)，這種情況會(huì)導(dǎo)致用戶前后讀取到的數(shù)據(jù)不一致。針對(duì)讀修復(fù)的這一缺陷，本文提出了全量數(shù)據(jù)的掃描修復(fù)，來保證集群中的副本數(shù)據(jù)可以盡快保持一致的狀態(tài)，從而為用戶提供一致的數(shù)據(jù)；（2）提示移交機(jī)制使得Cassandra寫操作的可用性更高，同時(shí)也使得宕機(jī)節(jié)點(diǎn)返回集群之后可以更快地恢復(fù)副本

4、數(shù)據(jù)的一致性，但這種機(jī)制的缺陷是只為宕機(jī)節(jié)點(diǎn)保存一定時(shí)間范圍的提示移交信息。針對(duì)提示移交機(jī)制存在的缺陷，本文提出了增量數(shù)據(jù)的檢查修復(fù)，來保證即使超出提示移交機(jī)制時(shí)間窗口，仍然能夠使得宕機(jī)節(jié)點(diǎn)返回集群之后盡快恢復(fù)數(shù)據(jù)的一致性。從而有效地彌補(bǔ)了提示移交機(jī)制中的缺陷，保證了集群中副本數(shù)據(jù)的一致性。最后，基于Cassandra數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)了全量數(shù)據(jù)掃描修復(fù)與增量數(shù)據(jù)檢查修復(fù)這兩個(gè)功能模塊。
　　對(duì)改進(jìn)前后的Cassandra數(shù)據(jù)庫(kù)分別進(jìn)