云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問(wèn)題研究.pdf

1、隨著各行各業(yè)信息化的程度不斷的提高和移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展,傳統(tǒng)的計(jì)算模式和存儲(chǔ)模式已經(jīng)不能滿(mǎn)足日益增長(zhǎng)的業(yè)務(wù)需求,云計(jì)算就是在這種背景下提出的一種計(jì)算模式,它是一種分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的商業(yè)發(fā)展,提供了一種按需付費(fèi)和彈性擴(kuò)展的服務(wù)方式。云存儲(chǔ)是云計(jì)算服務(wù)架構(gòu)中的重要組成部分,它提供了可擴(kuò)展,高容錯(cuò)的存儲(chǔ)服務(wù)。分布式文件系統(tǒng)則提供了對(duì)云存儲(chǔ)系統(tǒng)的支撐,其性能的好壞直接影響了云存儲(chǔ)服務(wù)能力。
　　分布式文件系統(tǒng)為了提高系統(tǒng)的

2、可靠性和性能一般都采用了副本和緩存的技術(shù),然而復(fù)制和緩存卻帶了副本和緩存的數(shù)據(jù)一致性問(wèn)題。為了解決一致性問(wèn)題從不同的角度有多種一致性模型可以參考。HDFS是一種面向大數(shù)據(jù)集、高吞吐量應(yīng)用的一種分布式文件系統(tǒng),在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上它提供了冗余存儲(chǔ)數(shù)據(jù)塊的機(jī)制來(lái)保證系統(tǒng)的可擴(kuò)展性和可靠性,然而它采用的是基于管道流的副本數(shù)據(jù)塊更新機(jī)制,當(dāng)面對(duì)交互式的應(yīng)用場(chǎng)景時(shí),它所采用的副本數(shù)據(jù)塊強(qiáng)一致性策略會(huì)造成服務(wù)性能的急劇下降。
　　本文從分析面向個(gè)

3、人用戶(hù)的云存儲(chǔ)服務(wù)的特點(diǎn)以及用戶(hù)使用云存儲(chǔ)服務(wù)的習(xí)慣出發(fā),在研究了HDFS的技術(shù)架構(gòu)的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了基于HDFS的交互式云存儲(chǔ)系統(tǒng),使用了一種可配置的數(shù)據(jù)副本一致策略來(lái)提高系統(tǒng)的可用性,并采用了客戶(hù)端緩存和合并小文件的方案來(lái)提高系統(tǒng)的整體性能。本文的主要工作包括:分析和研究了解決分布式系統(tǒng)中一致性問(wèn)題可以采用的數(shù)據(jù)同步模型;研究了HDFS所采用的數(shù)據(jù)同步模型,并指出其在提供面向個(gè)人的云存儲(chǔ)服務(wù)時(shí)的不足,提出并實(shí)現(xiàn)了一種基于 NWR模