云存儲(chǔ)系統(tǒng)中數(shù)據(jù)冗余存儲(chǔ)策略的研究.pdf

1、云計(jì)算是一種具有高適應(yīng)性的分布式計(jì)算。它的主要目的是將海量數(shù)據(jù)的計(jì)算任務(wù)拆分成多個(gè)規(guī)模較小的子任務(wù)，通過深度定制的網(wǎng)絡(luò)控制，將子任務(wù)交付于服務(wù)器集群進(jìn)行實(shí)際運(yùn)算，最終通過網(wǎng)絡(luò)傳輸將計(jì)算結(jié)果返回給用戶。云計(jì)算在發(fā)展中融合了虛擬化、負(fù)載均衡、網(wǎng)絡(luò)存儲(chǔ)、軟件定義網(wǎng)絡(luò)等技術(shù)，從而能夠?qū)⒂脩魧?duì)海量數(shù)據(jù)的計(jì)算和處理高效交付至大規(guī)模數(shù)據(jù)中心，實(shí)現(xiàn)了軟硬件資源的高效整合和集中管理。
　　云存儲(chǔ)是伴隨著云計(jì)算概念的發(fā)展而產(chǎn)生的。它需要支撐起云計(jì)算龐

2、大的數(shù)據(jù)存儲(chǔ)總量，并提供高可靠性高可用性的存儲(chǔ)服務(wù)。Hadoop是一個(gè)由Apache基金組支持與維護(hù)的開源云計(jì)算項(xiàng)目。在眾多的云計(jì)算框架中，由于Hadoop在不斷發(fā)展下所展示的高擴(kuò)展性、高可靠性和高可用性，逐漸成為了一種重要而突出的云計(jì)算框架。Hadoop的底層分布式文件系統(tǒng)（HDFS，Hadoop Distributed File System）則因Hadoop取得的成功，成為了云存儲(chǔ)研究中的一個(gè)顯著熱點(diǎn)。
　　本文針對(duì)于HDF

3、S中的冗余數(shù)據(jù)存儲(chǔ)方案，分析了其數(shù)據(jù)流中存在的兩個(gè)主要問題：數(shù)據(jù)傾斜和隨機(jī)訪問。數(shù)據(jù)傾斜會(huì)使得靜態(tài)數(shù)據(jù)冗余方案性能下降并造成存儲(chǔ)資源浪費(fèi)。而隨機(jī)訪問的發(fā)生則會(huì)顯著地影響數(shù)據(jù)冗余方案的性能。在對(duì)這兩大問題的深入探究后，本文提出了新的數(shù)據(jù)存儲(chǔ)方案動(dòng)態(tài)冗余異構(gòu)存儲(chǔ)系統(tǒng)（DHS，Dynamic Heterogeneous Storage system）。DHS在設(shè)計(jì)上，一方面結(jié)合了兩種不同的主流數(shù)據(jù)冗余技術(shù)，另一方面引入了混合存儲(chǔ)架構(gòu)。本文工作

4、的創(chuàng)新性體現(xiàn)在以下三個(gè)方面：首先同現(xiàn)有的存儲(chǔ)改進(jìn)方案不同，DHS根據(jù)歷史訪問記錄提出了訪問負(fù)載的概念并通過統(tǒng)計(jì)分析進(jìn)行預(yù)測；其次DHS采用了全新的反饋存儲(chǔ)調(diào)節(jié)機(jī)制，適應(yīng)訪問需求制定存儲(chǔ)方案；最后DHS詳盡考量了普通磁盤上的訪問流，制定了混合存儲(chǔ)以及競爭緩解機(jī)制，提升磁盤組整體性能。DHS能夠在保證原始HDFS方案數(shù)據(jù)的高可靠性的前提下，改善其存儲(chǔ)的服務(wù)性能，在整體上節(jié)約存儲(chǔ)開銷，從而提供高性價(jià)比的數(shù)據(jù)存儲(chǔ)方案。本文將在對(duì)HDFS的深入剖