分布式數(shù)據(jù)庫中數(shù)據(jù)庫復(fù)制的研究與實現(xiàn).pdf

1、分布式數(shù)據(jù)庫作為海量數(shù)據(jù)服務(wù)的一種解決方案已被廣泛應(yīng)用，它的多節(jié)點結(jié)構(gòu)降低了系統(tǒng)對單個節(jié)點的性能要求的同時卻提高了系統(tǒng)出錯的概率。數(shù)據(jù)庫復(fù)制技術(shù)最初的目的是防止單個數(shù)據(jù)庫中的數(shù)據(jù)丟失，為了提高數(shù)據(jù)節(jié)點的安全性和可用性，該技術(shù)被廣泛應(yīng)用到分布式數(shù)據(jù)庫中，以提高系統(tǒng)的性能和錯誤恢復(fù)能力。數(shù)據(jù)庫復(fù)制的核心問題是數(shù)據(jù)的一致性與實時性，針對這兩個問題，現(xiàn)有的研究中引入了很多新技術(shù)，但這些研究大多只側(cè)重于其中一個問題。在實際應(yīng)用中，分布式數(shù)據(jù)庫必須

2、面對高并發(fā)和大數(shù)據(jù)的挑戰(zhàn)，因此對數(shù)據(jù)庫復(fù)制的性能要求很高，而現(xiàn)有的復(fù)制系統(tǒng)大部分集成于特定數(shù)據(jù)庫產(chǎn)品中，通用性不強(qiáng)，其中有的無法確保強(qiáng)一致性，有的則實時性不足。因此，為了提高復(fù)制效率的同時保證數(shù)據(jù)一致性，本文通過重點研究并解決基于事務(wù)的復(fù)制技術(shù)、多線程復(fù)制中的事務(wù)可串行性保持機(jī)制、沖突檢測與處理機(jī)制、熱備份動態(tài)切換中的一致性保持等關(guān)鍵技術(shù)問題，在分析現(xiàn)有數(shù)據(jù)庫復(fù)制系統(tǒng)優(yōu)缺點的基礎(chǔ)上，結(jié)合Cobar分布式系統(tǒng)的特點，設(shè)計出適合星型結(jié)構(gòu)分布

3、式數(shù)據(jù)庫的多線程復(fù)制系統(tǒng)的框架。
　　本文的主要研究和工作體現(xiàn)在下列幾個方面:
　　(1)基于對常見復(fù)制技術(shù)與Cobar系統(tǒng)的框架分析確定適用于Cobar系統(tǒng)的數(shù)據(jù)庫復(fù)制方案。首先，以Cobar系統(tǒng)現(xiàn)有的MySQL主從復(fù)制機(jī)制為例，指出其中不僅存在較大的效率瓶頸，也存在節(jié)點失效后數(shù)據(jù)丟失的問題。然后在分析數(shù)據(jù)庫復(fù)制系統(tǒng)的通用框架結(jié)構(gòu)的基礎(chǔ)上，針對復(fù)制對象捕獲，復(fù)制數(shù)據(jù)分發(fā)，數(shù)據(jù)同步中的一致性保持和并行操作中的沖突檢測與處理這

4、四個主要模塊，分析比較各模塊中需要面對的主要問題以及常用的解決方案。
　　(2)設(shè)計了一種以事務(wù)為基本復(fù)制對象的主從異步復(fù)制系統(tǒng)DRFC(Database ReplicationFor Cobar)。該系統(tǒng)框架的設(shè)計是基于通用框架演變而來，對其中部分模塊功能做了更細(xì)致的劃分，能有效減少節(jié)點間的通訊量，減小對Cobar系統(tǒng)運行的影響，復(fù)制過程采用多線程技術(shù)，提高了復(fù)制的效率。系統(tǒng)的設(shè)計主要包括:對象捕獲模塊、數(shù)據(jù)封裝與解析模塊、事務(wù)

5、管理模塊、同步管理模塊、數(shù)據(jù)同步模塊、沖突檢測與處理模塊、動態(tài)切換模塊和各模塊的調(diào)用接口設(shè)計。
　　(3)設(shè)計了一種多線程異步復(fù)制下的主從一致性和系統(tǒng)全局一致性保持機(jī)制。研究了三種多線程復(fù)制中一致性保持策略，提出并設(shè)計了并行執(zhí)行串行提交復(fù)制策略的改進(jìn)方案。該方案以時間戳和系統(tǒng)分配的事務(wù)編號為事務(wù)串行化依據(jù)，利用事務(wù)鎖進(jìn)行同步控制，各事務(wù)不用嚴(yán)格按照串行順序提交。
　　(4)根據(jù)DRFC系統(tǒng)的具體設(shè)計，實現(xiàn)了該系統(tǒng)并完成相關(guān)測