面向新聞大數(shù)據(jù)的節(jié)能存儲(chǔ)策略研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，作為其基礎(chǔ)服務(wù)載體的數(shù)據(jù)中心也隨之迅猛發(fā)展。大數(shù)據(jù)產(chǎn)業(yè)繁榮的背后，帶來(lái)的卻是耗電量暴漲、環(huán)境污染增加、土地資源消耗等不可避免的問(wèn)題。就能耗而言，耗電量的成倍增長(zhǎng)直接導(dǎo)致運(yùn)營(yíng)和管理的成本上升，因此降低數(shù)據(jù)中心的能耗，特別是降低服務(wù)器集群的能耗，就成了學(xué)術(shù)界和工業(yè)界共同關(guān)心的重大問(wèn)題。
　　本文以數(shù)據(jù)量日益增長(zhǎng)的新聞?lì)惥W(wǎng)站為對(duì)象，深入分析和研究了新聞網(wǎng)站的訪問(wèn)日志數(shù)據(jù)，初步探尋出新聞?lì)悢?shù)據(jù)的訪問(wèn)規(guī)律。本文將這些訪

2、問(wèn)規(guī)律引入到目前廣泛使用的 Hadoop分布式文件系統(tǒng)（HDFS）中，對(duì)其進(jìn)行有針對(duì)性的改進(jìn)和優(yōu)化，使HDFS最終具備節(jié)能和數(shù)據(jù)分布自均衡的特點(diǎn)。
　　具體來(lái)說(shuō)，本文提出了數(shù)據(jù)節(jié)點(diǎn)分區(qū)、最大剩余空間節(jié)點(diǎn)匹配、文件遷移和節(jié)點(diǎn)待機(jī)四條節(jié)能策略。數(shù)據(jù)節(jié)點(diǎn)分區(qū)策略將整個(gè)集群邏輯上分為“冷”、“熱”兩個(gè)區(qū)域，以便實(shí)施不同的管理方法，達(dá)到節(jié)能的目的；最大剩余空間節(jié)點(diǎn)匹配策略專門(mén)針對(duì)數(shù)據(jù)分布均衡的問(wèn)題，又分為活動(dòng)狀態(tài)節(jié)點(diǎn)優(yōu)先（Active St

3、ate Node Priority，簡(jiǎn)記為 ASNP）匹配和低于平均使用率節(jié)點(diǎn)優(yōu)先（Lower than Average utilization rate Node Priority，簡(jiǎn)記為L(zhǎng)ANP）匹配兩種方案，其中前者方案能達(dá)到更好的節(jié)能效果，后者方案能實(shí)現(xiàn)數(shù)據(jù)分布自均衡，從而在一定程度上平衡集群的負(fù)載；文件遷移策略則保證了新聞數(shù)據(jù)在其熱門(mén)期的高效訪問(wèn)，同時(shí)又能為熱區(qū)的節(jié)點(diǎn)減輕負(fù)載，降低冷區(qū)節(jié)點(diǎn)的能耗；節(jié)點(diǎn)待機(jī)策略將冷區(qū)中沒(méi)有任務(wù)的

4、節(jié)點(diǎn)置為待機(jī)省電狀態(tài)，避免了“空轉(zhuǎn)”現(xiàn)象的發(fā)生，減少了集群的整體能耗。
　　為了研究和驗(yàn)證節(jié)能存儲(chǔ)策略在HDFS中應(yīng)用的效果，本文還開(kāi)發(fā)了面向節(jié)能存儲(chǔ)策略研究的 HDFS仿真實(shí)驗(yàn)平臺(tái)，平臺(tái)通過(guò)模擬新聞文件被創(chuàng)建和訪問(wèn)的調(diào)度過(guò)程，加入了可拔插的節(jié)能策略模塊，最終輸出仿真結(jié)果。
　　本文以維基英文新聞網(wǎng)站一個(gè)月的訪問(wèn)日志作為實(shí)驗(yàn)數(shù)據(jù)集，經(jīng)過(guò)預(yù)處理后，在本文節(jié)能策略的作用下，實(shí)驗(yàn)結(jié)果表明：使用本文節(jié)能策略的 HDFS比傳統(tǒng)HDFS