基于HDFS的云存儲(chǔ)系統(tǒng)研究——分布式架構(gòu)REPERA設(shè)計(jì)與實(shí)現(xiàn).pdf

1、云計(jì)算基于網(wǎng)絡(luò)，是網(wǎng)格計(jì)算、并行計(jì)算和分布式計(jì)算的進(jìn)一步發(fā)展。它采用了網(wǎng)絡(luò)存儲(chǔ)、虛擬化和負(fù)載均衡等技術(shù)，將用戶任務(wù)合理轉(zhuǎn)移到位于網(wǎng)絡(luò)的大型計(jì)算中心來(lái)完成，實(shí)現(xiàn)了計(jì)算機(jī)軟硬件資源的充分整合和共享。云存儲(chǔ)是在云計(jì)算的概念上延伸和發(fā)展出來(lái)的。它通過將網(wǎng)絡(luò)中各種不同類型的存儲(chǔ)設(shè)備集合起來(lái)協(xié)同工作，對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問服務(wù)。在眾多的開源云計(jì)算平臺(tái)中，由自由軟件基金會(huì)Apache基于Google云計(jì)算的設(shè)計(jì)理念實(shí)現(xiàn)的Hadoop Project引

2、起了廣泛關(guān)注。其中的Hadoop分布式文件系統(tǒng)（HDFS，Hadoop Distributed File System）研究云存儲(chǔ)相關(guān)技術(shù)，實(shí)現(xiàn)了海量數(shù)據(jù)的存儲(chǔ)管理。HDFS具有擴(kuò)展性強(qiáng)、可靠性高、成本低等優(yōu)勢(shì)，有利于大型和小型的學(xué)術(shù)團(tuán)體進(jìn)行實(shí)驗(yàn)環(huán)境的搭建。完善的文件管理方法和類似于流式的數(shù)據(jù)讀取機(jī)制，使HDFS成為云存儲(chǔ)研究的熱點(diǎn)之一。
　　云存儲(chǔ)必須關(guān)注的是如何高效地保證存儲(chǔ)數(shù)據(jù)的有效性、完整性、可用性以及存儲(chǔ)的持久性。目前，

3、文件存儲(chǔ)所采用的技術(shù)主要有兩種：數(shù)據(jù)的完全備份和糾刪碼方法，這兩種方法各有優(yōu)劣。數(shù)據(jù)的完全備份可以降低用戶的訪問延遲，但卻需要構(gòu)建地理位置不同的數(shù)據(jù)中心，同時(shí)消耗更多的存儲(chǔ)空間和傳輸帶寬；糾刪碼方法可以增強(qiáng)數(shù)據(jù)的持久化存儲(chǔ)能力，占用空間相對(duì)較少，但會(huì)因解碼操作消耗更多的系統(tǒng)資源，延長(zhǎng)用戶的訪問延遲。如何集二者之長(zhǎng)優(yōu)勢(shì)互補(bǔ)？在占用存儲(chǔ)空間較少的同時(shí)不增加用戶的訪問延遲，并能保證數(shù)據(jù)的有效性、完整性和可用性，增強(qiáng)數(shù)據(jù)的持久化存儲(chǔ)能力，就成為

4、本文的研究課題。
　　本文采用了數(shù)據(jù)的完全備份和糾刪碼相結(jié)合的方法，基于HDFS設(shè)計(jì)并實(shí)現(xiàn)了分布式架構(gòu) REPERA。作為云存儲(chǔ)架構(gòu)的一種形式, REPERA除了具有HDFS的擴(kuò)展性高、可靠性強(qiáng)、支持大規(guī)模數(shù)據(jù)集管理和類似于流式的快速數(shù)據(jù)存取特點(diǎn)外，還具有兩種數(shù)據(jù)存儲(chǔ)方法的優(yōu)點(diǎn)，平衡了數(shù)據(jù)的訪問延遲和持久化存儲(chǔ)之間的矛盾,，節(jié)省了較多的存儲(chǔ)空間。此外，REPERA系統(tǒng)的實(shí)現(xiàn)給用戶預(yù)留了配置參數(shù)，用戶可以根據(jù)自身需要對(duì)存儲(chǔ)策略進(jìn)行配