基于集群規(guī)模調(diào)整的節(jié)能存儲(chǔ)策略研究.pdf

1、隨著人類社會(huì)的發(fā)展，社會(huì)的信息化程度越來越高，作為記錄信息載體的數(shù)據(jù)也隨之迅猛增長，應(yīng)運(yùn)而生的大數(shù)據(jù)技術(shù)也越來越多的應(yīng)用到實(shí)際生活中方便人們的生活。大數(shù)據(jù)技術(shù)的應(yīng)用離不開數(shù)據(jù)的存儲(chǔ)，而對于存儲(chǔ)大數(shù)據(jù)的集群，其能耗也是一個(gè)不容忽視的問題。
　　本文通過對集群文件訪問規(guī)律及集群服務(wù)器能耗規(guī)律的認(rèn)識，發(fā)現(xiàn)集群中普遍存在節(jié)點(diǎn)使用率低下的問題。因此本文主要的研究內(nèi)容是通過對集群規(guī)模進(jìn)行動(dòng)態(tài)調(diào)整來提高節(jié)點(diǎn)使用率，降低集群的能耗。
　　首

2、先本文結(jié)合傳統(tǒng)的靜態(tài)分區(qū)及動(dòng)態(tài)分區(qū)的優(yōu)點(diǎn)將集群劃分為三大區(qū)域。然后在此分區(qū)基礎(chǔ)上，針對集群規(guī)模動(dòng)態(tài)調(diào)整需要遷移大量的數(shù)據(jù)塊的問題，提出了面向IO優(yōu)化的集群規(guī)模調(diào)整，可以通過盡可能少的數(shù)據(jù)塊遷移達(dá)到快速調(diào)整集群規(guī)模的目的。其次基于數(shù)據(jù)特征的分區(qū)存儲(chǔ)對集群中存在的冷，熱數(shù)據(jù)采取不同的存儲(chǔ)策略，針對于冷數(shù)據(jù)提出負(fù)載集中存儲(chǔ)策略，節(jié)省了存儲(chǔ)大量冷數(shù)據(jù)的服務(wù)資源。另外針對于廣泛采用的LRU算法對于偶發(fā)性的、周期性的批量訪問會(huì)導(dǎo)致命中率急劇下降，本

3、文提出了雙因子淘汰緩存算法及對其進(jìn)行改進(jìn)，通過考慮文件訪問次數(shù)和時(shí)間兩個(gè)因子提高了命中率。
　　為了驗(yàn)證本文提出的一系列的集群節(jié)能策略，本文開發(fā)了模擬Hadoop運(yùn)行的集群仿真平臺(tái)，該仿真平臺(tái)分層的設(shè)計(jì)模式，對于新的節(jié)能策略，只需在策略層中編寫相應(yīng)的策略函數(shù)編譯即可。該仿真平臺(tái)用戶可以自定義集群緩存策略，數(shù)據(jù)遷移策略，集群節(jié)能等一系列應(yīng)用于集群的仿真策略。
　　通過仿真實(shí)驗(yàn)結(jié)果表明：使用本文節(jié)能策略的 HDFS比傳統(tǒng) HDF