海量數(shù)據(jù)環(huán)境中副本動(dòng)態(tài)一致性策略研究.pdf

1、隨著互聯(lián)網(wǎng)的普及,涌現(xiàn)出了大量的互聯(lián)網(wǎng)應(yīng)用,例如社交網(wǎng)絡(luò),在線視頻,圖片分享,電子商務(wù)等等,Web2.0的時(shí)代也隨著來臨。這些應(yīng)用普遍采用分布式的架構(gòu)來存儲(chǔ)用戶產(chǎn)生的海量數(shù)據(jù),如何有效地管理各個(gè)副本節(jié)點(diǎn)之間的數(shù)據(jù),是一個(gè)持續(xù)的研究問題。針對(duì)海量數(shù)據(jù)環(huán)境下,不同的應(yīng)用對(duì)于數(shù)據(jù)副本的一致性有所差異的特性,提出了動(dòng)態(tài)一致性的副本管理策略,通過該策略可以更加靈活地和精確地描述不同的業(yè)務(wù)邏輯對(duì)于一致性的需求。
　　在多個(gè)副本節(jié)點(diǎn)進(jìn)行同步的過

2、程中,總會(huì)存在副本節(jié)點(diǎn)之間的數(shù)據(jù)存在偏差的情況。對(duì)于不同的數(shù)據(jù)類型,提出用數(shù)據(jù)條目偏差,數(shù)值偏差以及新舊程度偏差這三個(gè)偏差類型中的其中一個(gè)來進(jìn)行描述;與此同時(shí),給這個(gè)數(shù)據(jù)偏差賦予一個(gè)用來刻畫其對(duì)于偏差容忍度的數(shù)值。由這個(gè)二元組,來修飾不同的數(shù)據(jù)對(duì)于一致性的要求。再配合一致性控制層中的請(qǐng)求分發(fā)模塊、任務(wù)處理模塊以及任務(wù)調(diào)度模塊的協(xié)同工作,實(shí)現(xiàn)對(duì)任務(wù)的動(dòng)態(tài)一致性策略的控制。該策略的具體實(shí)現(xiàn)方式是請(qǐng)求分發(fā)模塊對(duì)帶有二元組修飾的請(qǐng)求任務(wù)進(jìn)行分析

3、后,將任務(wù)放置到與一致性要求相匹配的優(yōu)先級(jí)任務(wù)隊(duì)列中,然后由任務(wù)處理模塊從隊(duì)列中取出任務(wù),并按照與其一致性要求相對(duì)應(yīng)的方式來操作副本節(jié)點(diǎn)。其中設(shè)置任務(wù)調(diào)度模塊的目的是避免較低優(yōu)先級(jí)任務(wù)隊(duì)列中的任務(wù)餓死。
　　實(shí)驗(yàn)表明,當(dāng)一致性偏差取值由系統(tǒng)隨機(jī)賦值時(shí),動(dòng)態(tài)一致性策略可以對(duì)三種一致性偏差類型同時(shí)存在的情況進(jìn)行處理,并根據(jù)偏差取值進(jìn)行合理調(diào)度,確保每一個(gè)請(qǐng)求的一致性要求。進(jìn)一步說明動(dòng)態(tài)一致性策略在海量數(shù)據(jù)環(huán)境中的應(yīng)用,可以解決不同的應(yīng)