基于數(shù)據(jù)塊的大數(shù)據(jù)遷移策略研究.pdf

1、21世紀(jì)是信息爆炸的時(shí)代，信息數(shù)據(jù)量的增長(zhǎng)極其迅猛。因此不但需要大量的存儲(chǔ)設(shè)備來(lái)存儲(chǔ)數(shù)據(jù)，同時(shí)還需要對(duì)這些數(shù)據(jù)的存儲(chǔ)進(jìn)行有效地管理。根據(jù)實(shí)驗(yàn)研究表明，存儲(chǔ)系統(tǒng)中所存儲(chǔ)的數(shù)據(jù)中有約70％-80%是處于“靜止”狀態(tài)，經(jīng)過(guò)一到三個(gè)月后基本上很少被訪問(wèn)到。由于系統(tǒng)中只有少部分?jǐn)?shù)據(jù)會(huì)被頻繁的訪問(wèn)到，因此將數(shù)據(jù)全部存儲(chǔ)在高性能設(shè)備中會(huì)帶來(lái)成本上的增加。為了滿足存儲(chǔ)系統(tǒng)性能的同時(shí)進(jìn)一步降低存儲(chǔ)的成本，分層存儲(chǔ)思想的提出正是為了來(lái)解決這個(gè)問(wèn)題。

2、　　分層存儲(chǔ)的思想主要來(lái)源于信息生命周期管理ILM（Information Lifecycle Management）。分層存儲(chǔ)是將數(shù)據(jù)價(jià)值高的數(shù)據(jù)放置價(jià)格昂貴但是性能很高的存儲(chǔ)設(shè)備之中，而將數(shù)據(jù)價(jià)值低的數(shù)據(jù)放置于價(jià)格較便宜的大容量低性能的存儲(chǔ)設(shè)備之中。為了使得分層存儲(chǔ)在性能和開銷上達(dá)到平衡，一個(gè)良好的分層存儲(chǔ)系統(tǒng)就顯得尤為重要。但現(xiàn)今對(duì)于分層存儲(chǔ)的研究大多基于文件級(jí)數(shù)據(jù)和卷級(jí)數(shù)據(jù)。這類分層存儲(chǔ)在進(jìn)行數(shù)據(jù)價(jià)值評(píng)價(jià)時(shí)所考慮的價(jià)值因素通過(guò)文

3、件自身的屬性能夠直觀的獲得，并且文件和卷所占存儲(chǔ)空間比較大，一次遷移的數(shù)據(jù)量太大必然導(dǎo)致遷移的時(shí)間間隔加大，使得系統(tǒng)反應(yīng)緩慢，并且文件遷移時(shí)對(duì)資源的消耗也很大。而塊級(jí)數(shù)據(jù)在粒度上比文件級(jí)和卷級(jí)數(shù)據(jù)小，并且可以通過(guò)對(duì)數(shù)據(jù)塊進(jìn)行冗余數(shù)據(jù)的刪除，從而減小數(shù)據(jù)總量。同時(shí)塊級(jí)數(shù)據(jù)在數(shù)據(jù)遷移時(shí)由于數(shù)據(jù)塊較小，遷移時(shí)對(duì)資源的消耗會(huì)減小。但是，一方面，塊級(jí)數(shù)據(jù)對(duì)于數(shù)據(jù)價(jià)值的評(píng)價(jià)比文件級(jí)數(shù)據(jù)的評(píng)價(jià)更加復(fù)雜；另一方面，在對(duì)塊級(jí)數(shù)據(jù)進(jìn)行遷移時(shí)時(shí)間的間隔設(shè)計(jì)也

4、跟文件級(jí)和卷級(jí)數(shù)據(jù)有所差別?；谝陨咸岢龅膸c(diǎn)問(wèn)題，通過(guò)對(duì)已有分層存儲(chǔ)技術(shù)深入的分析和研究，本文對(duì)基于塊級(jí)數(shù)據(jù)的分層存儲(chǔ)的遷移策略做了以下研究：
　　1、通過(guò)對(duì)現(xiàn)今對(duì)分層存儲(chǔ)系統(tǒng)結(jié)構(gòu)的所用設(shè)備技術(shù)的分析及研究，提出一種基于塊級(jí)數(shù)據(jù)的自動(dòng)分層結(jié)構(gòu)BATSS（Block-level Automated Tiered Storage Structure）。
　　2、對(duì)比文件級(jí)數(shù)據(jù)價(jià)值評(píng)價(jià)相關(guān)因素的研究，提出一種基于塊級(jí)數(shù)據(jù)價(jià)值評(píng)價(jià)

5、的模型BDV（Block-level Data Valuation）。該模型充分考慮到塊級(jí)數(shù)據(jù)的特點(diǎn)，通過(guò)對(duì)I/O頻次、塊級(jí)數(shù)據(jù)大小、塊級(jí)數(shù)據(jù)關(guān)聯(lián)度等因素的綜合分析得出塊級(jí)數(shù)據(jù)價(jià)值。而后根據(jù)得出塊級(jí)數(shù)據(jù)價(jià)值對(duì)塊級(jí)數(shù)據(jù)進(jìn)行分層存儲(chǔ)。
　　3、提出基于主動(dòng)遷移閾值和被動(dòng)遷移閾值的雙閾值遷移策略。雙閾值遷移策略設(shè)計(jì)的基本思想是能夠最大化的利用高性能的存儲(chǔ)設(shè)備。主動(dòng)遷移閾值是按照設(shè)定好的閾值將價(jià)值高于此閾值的塊級(jí)數(shù)據(jù)存入對(duì)應(yīng)的存儲(chǔ)設(shè)備之中

6、，而低于該閾值的塊級(jí)數(shù)據(jù)存入下一層的存儲(chǔ)設(shè)備之中。而被動(dòng)遷移閾值是根據(jù)某一層存儲(chǔ)容量的剩余量來(lái)設(shè)定的。當(dāng)容量達(dá)到被動(dòng)遷移閾值時(shí)，停止主動(dòng)遷移，并將該層數(shù)據(jù)價(jià)值較小的數(shù)據(jù)遷移到下一層存儲(chǔ)設(shè)備之中。
　　4、提出基于遷移隊(duì)列大小/遷移帶寬的動(dòng)態(tài)遷移時(shí)間間隔遷移策略。數(shù)據(jù)每次進(jìn)行遷移時(shí)都會(huì)產(chǎn)生一個(gè)遷移隊(duì)列，遷移隊(duì)列的大小是一個(gè)動(dòng)態(tài)的，因?yàn)槊看芜w移的量都會(huì)不一樣，但每次遷移的帶寬是固定的。因此遷移時(shí)間是一個(gè)動(dòng)態(tài)的時(shí)間，這樣能夠提升系統(tǒng)性能