云計(jì)算環(huán)境中數(shù)據(jù)放置及復(fù)制策略研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展和普及，傳統(tǒng)的信息化建設(shè)模式由于需要較大的IT基礎(chǔ)設(shè)施前期投入資金、較長(zhǎng)的應(yīng)用系統(tǒng)中期開發(fā)周期和較高的后期運(yùn)行維護(hù)成本，已經(jīng)不能適應(yīng)企業(yè)，尤其是中小企業(yè)對(duì)信息化建設(shè)工作的要求，限制了中小企業(yè)采用信息技術(shù)的能力。云計(jì)算是一種通過(guò)互聯(lián)網(wǎng)技術(shù)將共享的軟硬件資源按需提供給計(jì)算機(jī)和其他設(shè)備使用的方式。云計(jì)算將提供的服務(wù)以應(yīng)用和數(shù)據(jù)的形式分布在互聯(lián)網(wǎng)中由大量廉價(jià)的計(jì)算機(jī)及相關(guān)設(shè)備構(gòu)成的共享資源池上，這樣，就可以使用戶能夠按需獲

2、得相對(duì)應(yīng)的計(jì)算能力、存儲(chǔ)能力和服務(wù)能力等。
　　在云計(jì)算環(huán)境中，通常采用數(shù)據(jù)副本技術(shù)來(lái)提高系統(tǒng)的可靠性、可用性以及擴(kuò)展性。云計(jì)算環(huán)境所提供的數(shù)據(jù)及其副本信息，存儲(chǔ)在共享數(shù)據(jù)庫(kù)中，用戶并不需要關(guān)心所使用數(shù)據(jù)及其副本的具體存放位置，也不必關(guān)心所使用數(shù)據(jù)的副本數(shù)量等情況。同時(shí)，單個(gè)數(shù)據(jù)節(jié)點(diǎn)所能容納的數(shù)據(jù)及所能支持的服務(wù)受到機(jī)器硬件條件的限制，如果用戶需要更多的存儲(chǔ)容量和更高的服務(wù)能力，再僅僅采用升級(jí)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)硬件的方式的話，則難以實(shí)現(xiàn)

3、云計(jì)算環(huán)境規(guī)模的動(dòng)態(tài)擴(kuò)展。要解決云計(jì)算環(huán)境中的數(shù)據(jù)管理問(wèn)題，勢(shì)必要將單數(shù)據(jù)節(jié)點(diǎn)模式，轉(zhuǎn)變?yōu)樵浦卸鄶?shù)據(jù)節(jié)點(diǎn)模式，同時(shí)綜合權(quán)衡云中數(shù)據(jù)及其副本的管理需求。一個(gè)良好的數(shù)據(jù)放置策略需要綜合考慮存儲(chǔ)代價(jià)、帶寬消耗、副本復(fù)制、系統(tǒng)的負(fù)載均衡等問(wèn)題，來(lái)保障數(shù)據(jù)的可靠性、可用性，提高云計(jì)算系統(tǒng)的性能以及云計(jì)算服務(wù)的質(zhì)量。
　　本文致力于云計(jì)算環(huán)境中數(shù)據(jù)放置及復(fù)制策略關(guān)鍵技術(shù)的研究，目標(biāo)在于最大限度地支持云數(shù)據(jù)的橫向擴(kuò)展及統(tǒng)一管理，保持良好的數(shù)據(jù)放

4、置，保障云計(jì)算應(yīng)用的高效運(yùn)行?，F(xiàn)有的云計(jì)算環(huán)境中的數(shù)據(jù)放置及復(fù)制策略不能有效解決如下問(wèn)題:(1)云計(jì)算環(huán)境中數(shù)據(jù)的初始放置問(wèn)題。數(shù)據(jù)的初始放置策略非常重要，這決定著初始放置完成后很長(zhǎng)一段時(shí)間內(nèi)的數(shù)據(jù)管理的效率。因此，如何通過(guò)對(duì)海量應(yīng)用數(shù)據(jù)進(jìn)行合理放置，從而降低應(yīng)用執(zhí)行過(guò)程中跨數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)傳輸，成為云計(jì)算環(huán)境中數(shù)據(jù)放置策略的首要問(wèn)題。如果數(shù)據(jù)初始放置策略不合理，則會(huì)增加事務(wù)對(duì)數(shù)據(jù)訪問(wèn)時(shí)跨數(shù)據(jù)節(jié)點(diǎn)的分布式事務(wù)成本等，進(jìn)而會(huì)極大地降低云平臺(tái)

5、的計(jì)算能力。(2)副本數(shù)量的確定?；跉v史訪問(wèn)頻率的副本策略是一種將訪問(wèn)頻率作為數(shù)據(jù)副本增加或刪除條件的動(dòng)態(tài)副本管理機(jī)制，然而，該策略并未將分布式事務(wù)成本引入到副本管理策略中，忽略了創(chuàng)建副本所帶來(lái)的數(shù)據(jù)管理成本耗費(fèi)。這種情況下，數(shù)據(jù)副本數(shù)量的確定是粗獷的，缺乏對(duì)副本數(shù)量的細(xì)粒度管理。通過(guò)使用適當(dāng)?shù)募?xì)粒度數(shù)據(jù)副本管理策略，可以跨大量的分區(qū)平衡讀寫操作。因此，需要使用更為細(xì)粒度的數(shù)據(jù)副本策略，來(lái)控制分布式更新的成本，并提供不同的工作負(fù)載的適

6、應(yīng)性。通過(guò)利用更細(xì)粒度的存取模式統(tǒng)計(jì)，來(lái)為每個(gè)數(shù)據(jù)項(xiàng)確定相應(yīng)的數(shù)據(jù)副本數(shù)量。(3)云環(huán)境下數(shù)據(jù)副本的動(dòng)態(tài)遷移問(wèn)題。隨著云中數(shù)據(jù)的持續(xù)變更，原本平衡的數(shù)據(jù)節(jié)點(diǎn)可能變得不再平衡，數(shù)據(jù)的不同副本的熱度也會(huì)隨之發(fā)生變化。因此，需要建立針對(duì)云數(shù)據(jù)管理模型的負(fù)載檢測(cè)、動(dòng)態(tài)數(shù)據(jù)放置及數(shù)據(jù)動(dòng)態(tài)遷移機(jī)制，對(duì)熱度發(fā)生改變的數(shù)據(jù)的副本數(shù)量及副本位置進(jìn)行調(diào)整，對(duì)負(fù)載失衡的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行處理，以充分合理地利用云計(jì)算資源。(4)事務(wù)請(qǐng)求的數(shù)據(jù)副本快速定位?，F(xiàn)有的云數(shù)

7、據(jù)管理模式下，系統(tǒng)在響應(yīng)用戶事務(wù)請(qǐng)求時(shí)，很難精準(zhǔn)定位到副本數(shù)據(jù)所在的數(shù)據(jù)節(jié)點(diǎn)，這會(huì)在一定程度上降低系統(tǒng)的性能。因此有必要研究一種基于數(shù)據(jù)副本的事務(wù)請(qǐng)求的數(shù)據(jù)副本快速定位策略，以提高數(shù)據(jù)副本管理模型的事務(wù)請(qǐng)求數(shù)據(jù)副本定位效率，使云計(jì)算平臺(tái)獲得高效的存取效率和龐大的吞吐量。
　　本文針對(duì)云計(jì)算平臺(tái)中數(shù)據(jù)放置及復(fù)制策略的幾個(gè)關(guān)鍵問(wèn)題展開研究，主要貢獻(xiàn)概括如下:
　　1、提出了云計(jì)算環(huán)境中數(shù)據(jù)初始放置策略。該策略充分考慮了分布式事務(wù)

8、在數(shù)據(jù)副本間的協(xié)作成本，使由于數(shù)據(jù)放置引起的分布式事務(wù)的代價(jià)盡量低，尤其是考慮了不同的分布式事務(wù)的代價(jià)差異。策略同時(shí)考慮了全局的數(shù)據(jù)中心負(fù)載均衡問(wèn)題，在現(xiàn)有貪婪算法基礎(chǔ)上進(jìn)行了改進(jìn)，使得數(shù)據(jù)放置策略能夠快速收斂到有效的數(shù)據(jù)放置解決方案上。
　　2、基于云計(jì)算環(huán)境中數(shù)據(jù)管理的特征，提出了云計(jì)算平臺(tái)中細(xì)粒度的數(shù)據(jù)副本數(shù)量策略機(jī)制，從而保證了較高的云計(jì)算平臺(tái)整體性能。
　　本文提出了使用細(xì)粒度的數(shù)據(jù)副本數(shù)量管理策略，策略定義在元組

9、集合的層次上，可以更好控制分布式更新的成本，提高系統(tǒng)吞吐量，并能夠提供不同的工作負(fù)載的適應(yīng)性水平，使得系統(tǒng)能夠在不同的讀取和寫入訪問(wèn)模式下，更好地處理查詢工作負(fù)載。每個(gè)虛擬節(jié)點(diǎn)級(jí)別的數(shù)據(jù)副本數(shù)量的確定，使系統(tǒng)適應(yīng)于給定的工作負(fù)載，并提高了數(shù)據(jù)副本的效能，顯著減少了分布式更新的成本。本策略使用不同的數(shù)據(jù)副本粒度，服務(wù)于查詢工作負(fù)載的讀取和寫入不同組合，結(jié)果表明，細(xì)粒度的數(shù)據(jù)副本管理，在不同類型的工作負(fù)載情況下，可以顯著減少平均查詢范圍，極

10、大地提高云系統(tǒng)的事務(wù)吞吐能力。
　　3、提出了云環(huán)境下數(shù)據(jù)副本的動(dòng)態(tài)自適應(yīng)的遷移策略。策略通過(guò)基于工作負(fù)載的云計(jì)算存儲(chǔ)資源副本動(dòng)態(tài)調(diào)度機(jī)制，實(shí)現(xiàn)了更高的可擴(kuò)展性，并增加了容錯(cuò)能力,提高了工作負(fù)載的變化的應(yīng)對(duì)能力。該機(jī)制通過(guò)使用工作負(fù)載處理器監(jiān)控事務(wù)請(qǐng)求的數(shù)量變化情況來(lái)對(duì)數(shù)據(jù)副本數(shù)量進(jìn)行調(diào)整。通過(guò)監(jiān)測(cè)工作負(fù)載來(lái)確定重大變化，然后一小步一小步地進(jìn)行重新分區(qū)，最終達(dá)到保持良好的整體分區(qū)的目的。
　　通過(guò)動(dòng)態(tài)數(shù)據(jù)副本遷移策略，完成了

11、云計(jì)算環(huán)境中數(shù)據(jù)副本在數(shù)據(jù)節(jié)點(diǎn)間的動(dòng)態(tài)調(diào)整，保證了云計(jì)算環(huán)境中各數(shù)據(jù)節(jié)點(diǎn)的負(fù)載均衡。
　　4、基于云計(jì)算環(huán)境中數(shù)據(jù)放置策略及數(shù)據(jù)復(fù)制策略，提出了云計(jì)算環(huán)境中事務(wù)請(qǐng)求的數(shù)據(jù)副本定位機(jī)制，進(jìn)一步提高了數(shù)據(jù)訪問(wèn)性能。
　　針對(duì)事務(wù)請(qǐng)求，本文提出一種基于數(shù)據(jù)副本的事務(wù)請(qǐng)求快速副本定位機(jī)制，根據(jù)用戶訪問(wèn)請(qǐng)求，以逐漸細(xì)化的數(shù)據(jù)項(xiàng)作為數(shù)據(jù)訪問(wèn)的基本單位，快速返回查詢結(jié)果集。通過(guò)計(jì)算查詢的跨度，設(shè)計(jì)了一個(gè)標(biāo)準(zhǔn)的貪婪算法來(lái)定位數(shù)據(jù)副本。對(duì)每一