跨數(shù)據(jù)中心分布式存儲系統(tǒng)的數(shù)據(jù)復制技術研究.pdf

1、隨著網(wǎng)絡基礎設施的普及，各種上網(wǎng)終端的流行以及Web2.0技術和社交網(wǎng)絡的興起，位于任何地方的用戶都能很容易的獲取和創(chuàng)造內容，因此一個應用程序的數(shù)據(jù)以及對這些數(shù)據(jù)的訪問和更改往往來自不同地方甚至是全球的。為了讓不同地區(qū)的用戶能就近訪問數(shù)據(jù)以減少用戶請求的響應時間，這類跨地域的應用通常采用跨數(shù)據(jù)中心的分布式存儲系統(tǒng)來保存數(shù)據(jù)。
　　在跨數(shù)據(jù)中心的分布式系統(tǒng)中，數(shù)據(jù)中心間的消息傳輸延遲時間長，帶寬小，網(wǎng)絡不穩(wěn)定，這些特點使該類系統(tǒng)的可

2、用性，可靠性，可擴展性以及性能成為其面臨的主要問題，而數(shù)據(jù)復制技術是解決跨數(shù)據(jù)中心分布式存儲系統(tǒng)中出現(xiàn)的這些問題的有效手段。首先，數(shù)據(jù)復制技術能通過增加冗余的方式來提高系統(tǒng)的可用性和可靠性;其次，數(shù)據(jù)復制技術通過將數(shù)據(jù)副本放置在離用戶較近處來降低請求的網(wǎng)絡傳輸時間以提高性能;最后，通過增加熱點數(shù)據(jù)的副本數(shù)目能分流讀請求的負載，提高系統(tǒng)的擴展能力。因此，在跨數(shù)據(jù)中心的分布式存儲系統(tǒng)中研究數(shù)據(jù)復制技術具有重要意義。
　　數(shù)據(jù)復制技術無

3、論在理論研究還是在實踐中都是一個吸引人的研究課題，得到了大量的研究。數(shù)據(jù)復制在數(shù)據(jù)庫領域和分布式系統(tǒng)領域是獨自發(fā)展起來的，由于這兩個領域各自不同的特點，它們采用數(shù)據(jù)復制技術的目的和方法也完全不同。如今的跨數(shù)據(jù)中心存儲系統(tǒng)既要像數(shù)據(jù)庫系統(tǒng)一樣提供方便而強大的數(shù)據(jù)管理能力又要像分布式系統(tǒng)一樣提供很強的可擴展性和透明的容錯能力，因此對數(shù)據(jù)復制技術提出了更高的要求。
　　在設計一個跨數(shù)據(jù)中心分布式存儲系統(tǒng)的時候，如下方面和數(shù)據(jù)復制相關的問

4、題需要得到解決:
　　1)什么時候創(chuàng)建副本，每個數(shù)據(jù)創(chuàng)建多少個副本;
　　2)將副本放置到什么地方;
　　3)如何將用戶請求轉發(fā)給合適的副本進行處理。
　　本文的主要研究內容圍繞著以上三個方面展開，也即副本的創(chuàng)建，副本的放置以及副本的選擇。
　　副本創(chuàng)建:本文根據(jù)當前廣泛采用的雙層的跨數(shù)據(jù)中心拓撲結構，在考慮了一些政策限制的前提下，提出了一種動態(tài)副本創(chuàng)建策略TGstag。TGstag通過同時創(chuàng)建數(shù)據(jù)中心內部

5、的副本和跨數(shù)據(jù)中心的副本這兩種類型的副本來盡可能少的消耗數(shù)據(jù)中心間的網(wǎng)絡帶寬和降低用戶訪問延遲時間。在跨數(shù)據(jù)中心的副本創(chuàng)建中，TGstag首先考慮政策的限制，然后根據(jù)來自不同數(shù)據(jù)中心的請求數(shù)目以及數(shù)據(jù)中心間的不同網(wǎng)絡延遲時間來考慮將數(shù)據(jù)創(chuàng)建到哪些數(shù)據(jù)中心中，以實現(xiàn)最少的跨數(shù)據(jù)中心副本訪問以及最短的平均訪問延遲時間。在數(shù)據(jù)中心內部，當一個副本所在的節(jié)點負載超過一定閾值的時候，TGstag會挑選出該節(jié)點上被訪問次數(shù)最多的若干數(shù)據(jù)，然后在這個

6、節(jié)點所在的數(shù)據(jù)中心選擇一個負載最小且有足夠容量的節(jié)點并將這些數(shù)據(jù)復制到選中的節(jié)點中，以提高系統(tǒng)的吞吐率。
　　副本放置:本文提出了在跨數(shù)據(jù)中心場景下的新型副本放置算法GCplace。首先，GCplace使用網(wǎng)絡坐標系統(tǒng)對數(shù)據(jù)中心和用戶的位置進行建模，通過將用戶和數(shù)據(jù)中心映射成網(wǎng)絡坐標系統(tǒng)中的坐標的方式，將用戶到數(shù)據(jù)中心的訪問延遲時間問題轉換成求網(wǎng)絡坐標系統(tǒng)中兩個不同坐標間的距離問題。在此基礎上，GCplace通過兩個步驟來決定如何

7、放置數(shù)據(jù)副本。第一步，采用基于流的相似性聚類方法，用較少數(shù)量的微簇來代表數(shù)量龐大的用戶，從而極大的減少計算量。第二步，用迭代式的算法計算出每個數(shù)據(jù)的副本應該對應的網(wǎng)絡坐標，并選取離這些坐標最近的數(shù)據(jù)中心進行存放。通過這兩個步驟，GCplace能以可接受的代價比較精確的計算出每個數(shù)據(jù)應該放置于哪些數(shù)據(jù)中心，從而最大化的降低用戶平均訪問延遲時間。
　　副本選擇:本文提出了一種動態(tài)可調的副本選擇算法來保證基于Quorum的跨數(shù)據(jù)中心分布

8、式存儲系統(tǒng)在能獲得一定比例最新數(shù)據(jù)的前提下盡可能的提高性能。在一個基于Quorum的跨數(shù)據(jù)中心存儲系統(tǒng)中，每次請求需要同步訪問的副本數(shù)目的不同對系統(tǒng)性能，可用性以及獲取最新數(shù)據(jù)的概率會產生不同的影響。本文首先根據(jù)一定算法從多個常見讀寫請求到達分布模型中選擇一個最匹配當前應用程序的分布模型來預測每次讀請求與在它之前的最近寫請求間的到達時間間隔。接著采用蒙特卡羅模型來模擬預測讀寫請求在不同數(shù)據(jù)中心副本間響應的先后順序，然后通過這些預測的值來