基于HDFS的分布式文件系統(tǒng)數(shù)據(jù)冗余技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展,存儲(chǔ)系統(tǒng)占有舉足輕重的地位。在數(shù)據(jù)爆炸性增長(zhǎng)的今天,本地的存儲(chǔ)很難滿足不斷增長(zhǎng)的海量存儲(chǔ)的需要,而且個(gè)人移動(dòng)計(jì)算和企業(yè)級(jí)計(jì)算對(duì)底層的存儲(chǔ)系統(tǒng)也提出了更高的要求,人們?cè)絹?lái)越多地使用分布式文件系統(tǒng),它可以帶來(lái)更高的存儲(chǔ)能力、可靠性、安全性和移動(dòng)性。
　　 本文主要研究了分布式文件系統(tǒng)的數(shù)據(jù)冗余技術(shù)。傳統(tǒng)的分布式系統(tǒng)大多采用獨(dú)立磁盤冗余陣列(RAID)和復(fù)制技術(shù)進(jìn)行數(shù)據(jù)的冗余,要達(dá)到一定的可靠性對(duì)存儲(chǔ)空間的要求較高

2、。后來(lái)又出現(xiàn)了編碼方法對(duì)數(shù)據(jù)進(jìn)行編碼存放,這在提高了可靠性的同時(shí)又帶來(lái)了數(shù)據(jù)讀取和寫入時(shí)性能的較大損失。為了更好地平衡數(shù)據(jù)可靠性和讀取性能,本文提出了綜合采用復(fù)制和網(wǎng)絡(luò)編碼技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)的方案。在開(kāi)源的HDFS(Hadoop Distributed File System)項(xiàng)目基礎(chǔ)上,給出了文件分塊編解碼、編碼塊放置策略、文件讀取和寫入的完整流程和方案,之后又研究了如何進(jìn)行負(fù)載均衡以及怎樣在大規(guī)模廉價(jià)低可靠機(jī)器組成的集群上處理機(jī)器的頻繁