面向海量數(shù)據(jù)的實(shí)時(shí)計(jì)算一致性研究.pdf

1、大數(shù)據(jù)和云計(jì)算等概念和相關(guān)技術(shù)隨社會(huì)需求和行業(yè)需求的提高得到了飛速發(fā)展。在傳感網(wǎng)絡(luò)、氣象分析、衛(wèi)星監(jiān)控、核模擬和電磁計(jì)算等關(guān)鍵領(lǐng)域，數(shù)據(jù)的產(chǎn)生和處理需求已經(jīng)到了海量級(jí)別，充分利用這些數(shù)據(jù)，就可以極大的提高企業(yè)、機(jī)構(gòu)和國(guó)家的生產(chǎn)率與競(jìng)爭(zhēng)力。
　　目前對(duì)海量數(shù)據(jù)的研究從根本上來(lái)說(shuō)仍然屬于大數(shù)據(jù)處理技術(shù)研究的范疇。雖然國(guó)內(nèi)外企業(yè)及研究機(jī)構(gòu)對(duì)分布式存儲(chǔ)和計(jì)算都有一定的研究，但是具體到海量數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算問(wèn)題，特別是對(duì)多數(shù)據(jù)中心協(xié)同計(jì)

2、算環(huán)境下的數(shù)據(jù)一致性這一細(xì)分領(lǐng)域的研究相對(duì)較少，還不能適應(yīng)多數(shù)據(jù)中心協(xié)同實(shí)時(shí)計(jì)算所具有的異構(gòu)性較強(qiáng)、計(jì)算任務(wù)較重、流程間交互關(guān)系復(fù)雜的特點(diǎn)。本文對(duì)支持海量數(shù)據(jù)實(shí)時(shí)計(jì)算需求的一致性進(jìn)行了研究，主要工作如下:
　　通過(guò)研究支持海量數(shù)據(jù)的分布式存儲(chǔ)架構(gòu)、海量數(shù)據(jù)的副本備份管理策略和多數(shù)據(jù)中心協(xié)同計(jì)算的數(shù)據(jù)一致性機(jī)制，分析海量數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境的特點(diǎn)和數(shù)據(jù)一致性需求;
　　針對(duì)海量數(shù)據(jù)實(shí)時(shí)計(jì)算中數(shù)據(jù)一致性問(wèn)題需求，基于對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)技

3、術(shù)的研究，提出了能夠支持海量數(shù)據(jù)實(shí)時(shí)計(jì)算的多數(shù)據(jù)中心協(xié)同計(jì)算平臺(tái)架構(gòu)，并對(duì)協(xié)同計(jì)算平臺(tái)的數(shù)據(jù)流程進(jìn)行了規(guī)劃;
　　通過(guò)對(duì)主流計(jì)算模型的一致性策略進(jìn)行分析和對(duì)比，結(jié)合多數(shù)據(jù)中心協(xié)同計(jì)算平臺(tái)實(shí)際，基于paxos算法，分別針對(duì)輸入數(shù)據(jù)、中間數(shù)據(jù)和輸出數(shù)據(jù)構(gòu)建了數(shù)據(jù)一致性架構(gòu)方案，初步解決了海量數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境下數(shù)據(jù)存儲(chǔ)、備份和使用中面臨的一致性問(wèn)題。
　　在以上研究和工作的基礎(chǔ)上，使用OpenStack建立了多數(shù)據(jù)中心協(xié)同計(jì)算平臺(tái)