存儲(chǔ)系統(tǒng)低能耗數(shù)據(jù)布局技術(shù)研究.pdf

1、數(shù)字信息的爆炸性增長(zhǎng)促使大規(guī)模存儲(chǔ)系統(tǒng)的出現(xiàn)，磁盤(pán)以其大容量和低價(jià)格的優(yōu)勢(shì)成為數(shù)據(jù)存儲(chǔ)的主要媒介。大量磁盤(pán)被組織起來(lái)以構(gòu)建高性能、高可靠的海量存儲(chǔ)系統(tǒng)。磁盤(pán)的機(jī)械特性使得磁盤(pán)存儲(chǔ)系統(tǒng)成為數(shù)據(jù)中心能耗最主要的來(lái)源之一，能耗成本在數(shù)據(jù)中心總擁有成本中占據(jù)越來(lái)越高的比例，因此降低磁盤(pán)存儲(chǔ)系統(tǒng)的能耗是降低數(shù)據(jù)中心總能耗進(jìn)而降低其總擁有成本的關(guān)鍵。本研究主要內(nèi)容如下：
　　 ⑴磁盤(pán)的工作狀態(tài)被分為活動(dòng)、空閑和待機(jī)三種，磁盤(pán)響應(yīng)I/O請(qǐng)求時(shí)

2、必須處于活動(dòng)狀態(tài)。磁盤(pán)陣列的數(shù)據(jù)布局方式?jīng)Q定了到達(dá)每個(gè)磁盤(pán)的I/O請(qǐng)求的空間分布，進(jìn)而決定了每個(gè)磁盤(pán)的工作狀態(tài)和能耗。已有磁盤(pán)陣列數(shù)據(jù)布局方式要么未考慮存儲(chǔ)系統(tǒng)的能耗，要么在降低存儲(chǔ)系統(tǒng)能耗的同時(shí)在性能、可靠性等方面存在諸多不足。將固態(tài)盤(pán)引入存儲(chǔ)系統(tǒng)雖然在隨機(jī)讀性能、能耗等方面能有明顯的改善，但其物理特性又決定了其在小寫(xiě)性能和可擦寫(xiě)次數(shù)等方面存在天生的不足。因此，對(duì)磁盤(pán)陣列上的數(shù)據(jù)布局方式進(jìn)行優(yōu)化以構(gòu)建高性能、高可靠、低能耗的海量存儲(chǔ)系

3、統(tǒng)是一項(xiàng)重要而緊迫的任務(wù)。
　　 ⑵傳統(tǒng)的日志數(shù)據(jù)分布方法將日志數(shù)據(jù)集中于專用日志盤(pán)上，使鏡像盤(pán)周期性地切換到待機(jī)狀態(tài)以節(jié)能，然而專用的日志盤(pán)使得存儲(chǔ)系統(tǒng)存在單點(diǎn)失效、性能瓶頸和高能耗的問(wèn)題。為此，提出了一種日志數(shù)據(jù)旋轉(zhuǎn)分布方法RoLo和相應(yīng)的分散式同步方法。RoLo將RAID10 系統(tǒng)中鏡像盤(pán)上的空閑空間組織成一個(gè)邏輯的日志空間池，通過(guò)將所有鏡像盤(pán)的空閑空間輪流做為值日日志空間，并利用分散式同步將已使用的日志空間回收并重復(fù)利用

4、，在有限的鏡像盤(pán)空閑空間上構(gòu)建一個(gè)邏輯上無(wú)限容量的日志空間。日志數(shù)據(jù)旋轉(zhuǎn)分布方法未引入額外的日志磁盤(pán)，消除了傳統(tǒng)日志數(shù)據(jù)分布方法下的性能瓶頸和單點(diǎn)失效瓶頸；相對(duì)較大的日志空間降低了磁盤(pán)啟停的頻率，不但延長(zhǎng)了磁盤(pán)的壽命，也降低了存儲(chǔ)系統(tǒng)的能耗。性能評(píng)估結(jié)果表明，日志數(shù)據(jù)旋轉(zhuǎn)分布方法較RAID10節(jié)省高達(dá)47.2％的能量，較采用了傳統(tǒng)日志數(shù)據(jù)分布方法的GRAID節(jié)省高達(dá)11.8％的能量。
　　 ⑶傳統(tǒng)的文件分布方式大多僅利用文件訪問(wèn)

5、的時(shí)間局部性或空間局部性將文件集中于少量的磁盤(pán)上，而未充分挖掘和利用文件訪問(wèn)的雙峰分布特點(diǎn)以及固態(tài)盤(pán)和磁盤(pán)之間在性能、可靠性和能耗方面的互補(bǔ)性來(lái)優(yōu)化文件的布局。為此，提出了一個(gè)動(dòng)態(tài)數(shù)據(jù)重分布方法LoRo來(lái)進(jìn)一步降低由固態(tài)盤(pán)和磁盤(pán)構(gòu)成的混合盤(pán)陣的能耗。LoRo利用存儲(chǔ)系統(tǒng)I/O負(fù)載的局部性和雙峰分布特點(diǎn)，將讀請(qǐng)求定向到在隨機(jī)讀性能和能耗兩方面均具有優(yōu)勢(shì)的固態(tài)盤(pán)上，而將寫(xiě)請(qǐng)求定向到在順序?qū)懶阅芊矫婢哂袃?yōu)勢(shì)的磁盤(pán)上。動(dòng)態(tài)數(shù)據(jù)重分布方法LoRo

6、能夠在降低混合存儲(chǔ)系統(tǒng)能耗的同時(shí)提高性能。性能評(píng)估結(jié)果表明，動(dòng)態(tài)數(shù)據(jù)重分布方法LoRo相較熱點(diǎn)數(shù)據(jù)集中方法PDC可節(jié)省高達(dá)68.2％的能量。
　　 ⑷通過(guò)將部分磁盤(pán)上的數(shù)據(jù)全部復(fù)制到其他磁盤(pán)上，使得部分磁盤(pán)切換到低能耗狀態(tài)可以節(jié)能。但單存儲(chǔ)卷基于數(shù)據(jù)復(fù)制的數(shù)據(jù)分布方法的節(jié)能效果不但受制于空閑存儲(chǔ)空間容量，而且受制于存儲(chǔ)負(fù)載強(qiáng)度，二者相互制約，限制了存儲(chǔ)系統(tǒng)的節(jié)能。為此，提出了低能耗多卷文件分布優(yōu)化方法AdapMig。其周期性地對(duì)

7、多個(gè)存儲(chǔ)卷上的文件進(jìn)行重分布，最小化多個(gè)存儲(chǔ)卷的總能耗，同時(shí)保持多存儲(chǔ)卷的響應(yīng)時(shí)間在預(yù)定的閾值之內(nèi)。低能耗多卷文件分布優(yōu)化方法首先對(duì)多卷文件分布進(jìn)行建模，對(duì)文件的訪問(wèn)負(fù)載進(jìn)行統(tǒng)計(jì)和預(yù)測(cè)，利用遺傳算法對(duì)所設(shè)定的最優(yōu)化目標(biāo)進(jìn)行求解，從而確定新的文件分布方式。低能耗多卷文件分布優(yōu)化方法能夠有效利用多存儲(chǔ)卷上的空閑存儲(chǔ)空間，在多存儲(chǔ)卷內(nèi)優(yōu)化數(shù)據(jù)分布。實(shí)驗(yàn)結(jié)果表明，AdapMig較未采用多卷之間文件分布優(yōu)化的PARAID可節(jié)省高達(dá)26.3％的能量