云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究.pdf

1、隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多行業(yè)以及學(xué)術(shù)界的關(guān)注。近些年中，數(shù)據(jù)以指數(shù)級的速度增長，為了保證數(shù)據(jù)中心的對外提供服務(wù)的質(zhì)量，實現(xiàn)更好的分布式文件存儲，大多數(shù)企業(yè)在云計算（或云模型）使用特定形式和服務(wù)來訪問或存儲各種資源來對外服務(wù)，動態(tài)數(shù)據(jù)遷移技術(shù)能夠把訪問量高的數(shù)據(jù)遷移到其他服務(wù)器中，從而有效的緩解了I/O瓶頸的問題，并且減少他們的運營成本。動態(tài)遷移技術(shù)把分散在各個物理主機中的數(shù)據(jù)進行遷移，并以各種不同的方

2、式存儲在服務(wù)器中，使得數(shù)據(jù)的存儲位置具有很大的靈活性。因此，“云提供商”提供的服務(wù)，通過使用動態(tài)數(shù)據(jù)遷移技術(shù)，以實現(xiàn)多重目標，包括收入最大化，運營成本降低，以及綠色IT，或者保證不同地理位置的用戶的服務(wù)需求。因此，最近的一些研究更側(cè)重于如何設(shè)計或者改進動態(tài)數(shù)據(jù)遷移的算法。
　　在大數(shù)據(jù)分析以及非結(jié)構(gòu)化數(shù)據(jù)蔓延的背景下，Hadoop受到了前所未有的關(guān)注，分布式文件系統(tǒng)HDFS（Hadoop Distributed File Syst

3、em）作為其中的一個項目，作為一個分布式文件存儲系統(tǒng)，它可以進行文件的操作，例如，創(chuàng)建、刪除、移動或重命名等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的，這是由它自身的特點決定的。這些節(jié)點包括NameNode（僅一個），它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode為HDFS提供存儲塊。雖然DataNode會周期性地將所有存在的Block信息發(fā)送給NameNode，但是NameNode之間并不知道其他NameNode內(nèi)部所存儲的數(shù)據(jù)

4、信息情況。
　　因此，本文進一步研究的HDFS的系統(tǒng)架構(gòu)和節(jié)點之間的關(guān)系，設(shè)計出一種高效，動態(tài)的數(shù)據(jù)遷移算法進而優(yōu)化遷移性能。在本文中，研究了多個NameNode節(jié)點之間信息副本同步性和數(shù)據(jù)的動態(tài)游走的問題。首先本文提出了多個NameNode之間創(chuàng)建mapping-table表，把數(shù)據(jù)遷移的具體信息寫入到該表中，使得數(shù)據(jù)在節(jié)點之間的一致性和動態(tài)遷移，實現(xiàn)了高效實時的分布式的數(shù)據(jù)遷移機制。然后，基于貝葉斯算法對“冷”數(shù)據(jù)進行合理的刪