數(shù)據(jù)中心能耗約束的資源管理技術研究.pdf

1、隨著互聯(lián)網(wǎng)技術的迅猛發(fā)展，大量的網(wǎng)絡應用集中部署在數(shù)據(jù)中心內(nèi)運行。網(wǎng)絡應用和用戶數(shù)量的飛速增長，導致數(shù)據(jù)中心的規(guī)模不斷擴大，甚至達到了百萬量級。能耗成為數(shù)據(jù)中心資源管理亟需解決的重要問題，也是近年來學術界、工業(yè)界研究的熱點。數(shù)據(jù)中心資源管理面臨高能耗、異構性和可擴展性等問題，如何在滿足應用服務質(zhì)量的前提下，優(yōu)化同構型、異構型數(shù)據(jù)中心的能耗，是本文主要研究的能耗受限資源管理問題。
　　針對以上問題，本文介紹了數(shù)據(jù)中心能耗優(yōu)化、資源調(diào)

2、度等發(fā)展現(xiàn)狀，在深入分析谷歌數(shù)據(jù)中心真實負載記錄的基礎上，提出了面向同構型和異構型數(shù)據(jù)中心的規(guī)模動態(tài)供應技術，該技術能夠依據(jù)資源使用的歷史信息，準確預測下一時間段內(nèi)所需的資源量，并求解出數(shù)據(jù)中心的最佳規(guī)模，有效優(yōu)化系統(tǒng)能耗；在數(shù)據(jù)中心規(guī)模確定的情況下，提出一種能耗與SLA懲罰代價感知的資源調(diào)度算法，通過資源的優(yōu)化配置，算法能夠降低數(shù)據(jù)中心的能耗；提出一種系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度算法，優(yōu)化多種優(yōu)先級業(yè)務的平均調(diào)度延遲和響應時間。

3、r>　　本文主要貢獻包括以下四個方面：
　　1、提出一種同構型數(shù)據(jù)中心的規(guī)模動態(tài)供應技術(Homogeneous Datacenter Dynamic Capacity Provisioning, HmD-DCP)，通過動態(tài)控制活躍的服務器數(shù)量來優(yōu)化數(shù)據(jù)中心的能耗開銷。首先通過分析谷歌數(shù)據(jù)中心負載工作記錄，得到數(shù)據(jù)中心承載的應用特征等信息，作為后續(xù)研究的基礎。針對大規(guī)模數(shù)據(jù)中心存在的能耗巨大的問題，設計了一種規(guī)模動態(tài)供應體系結構，

4、該體系結構基于以下三個因素實現(xiàn)數(shù)據(jù)中心的規(guī)模調(diào)節(jié)：隨時間變化的應用業(yè)務資源需求、動態(tài)變化的電能價格、動態(tài)配置數(shù)據(jù)中心規(guī)模所帶來的開銷（開/關服務器可能會導致服務器故障）。基于該體系結構，本文提出一種基于ARIMA（Auto-Regressive Integrated Moving Average,自回歸差分滑動平均模型）的計算資源預測算法，該算法借助于MPC控制框架，求解出數(shù)據(jù)中心最佳規(guī)模，平衡數(shù)據(jù)中心的能耗開銷、違反SLA的懲罰開銷和

5、重配置規(guī)模帶來的開銷，最后使用谷歌數(shù)據(jù)中心負載記錄數(shù)據(jù)進行模擬實驗，說明HmD-DCP方法可以降低多達18％的能耗開銷，且能滿足SLA要求。
　　2、提出一種異構型數(shù)據(jù)中心的規(guī)模動態(tài)供應技術(Heterogeneous Datacenter Dynamic Capacity Provisioning, HtD-DCP)。主要解決在異構型數(shù)據(jù)中心環(huán)境下，如何動態(tài)地配置數(shù)據(jù)中心的規(guī)模，使得該數(shù)據(jù)中心能夠在保證服務質(zhì)量(Quality

6、of Services, QoS)的前提下有效地降低能耗開銷。首先分析谷歌數(shù)據(jù)中心負載工作記錄，得出數(shù)據(jù)中心具有服務器異構性、應用對資源需求異構、應用對性能要求異構等特性。設計了一種規(guī)模動態(tài)供應體系結構，該體系結構基于以下因素實現(xiàn)數(shù)據(jù)中心的規(guī)模調(diào)節(jié)：未來一段時間的資源使用量、違反SLA的懲罰代價。綜合考慮能耗開銷和服務質(zhì)量兩方面，對異構型數(shù)據(jù)中心的規(guī)模動態(tài)供應問題進行建模，將異構型數(shù)據(jù)中心劃分為多個子系統(tǒng)（每個子系統(tǒng)由相同類型的服務器組

7、成），從而將異構型數(shù)據(jù)中心規(guī)模動態(tài)供應問題轉(zhuǎn)化成多個同構型數(shù)據(jù)中心規(guī)模供應問題，通過問題轉(zhuǎn)化求解出各子系統(tǒng)需要配置的最優(yōu)活躍服務器數(shù)量。模擬實驗表明HtD-DCP方法可以有效地降低數(shù)據(jù)中心的整體能耗，并保證數(shù)據(jù)中心對外提供的服務質(zhì)量。
　　3、提出一種能耗與SLA(Service Level Agreement,服務等級協(xié)定)懲罰代價感知的計算資源動態(tài)調(diào)度算法（CA算法）。系統(tǒng)功耗、SLA懲罰代價是組成異構型數(shù)據(jù)中心計算資源動態(tài)調(diào)

8、度問題的主要因素，功耗是單位時間內(nèi)的能耗，直接反映能耗，本文分別對系統(tǒng)功耗和SLA懲罰代價建立數(shù)學模型，并通過理論分析和推導證明異構型數(shù)據(jù)中心計算資源動態(tài)調(diào)度問題是NP完全的。針對該問題，本文基于貪心算法的思想，提出一種能耗與SLA懲罰代價感知的資源動態(tài)調(diào)度算法，并通過實驗與兩種典型的調(diào)度算法（首次適應算法和能耗感知算法）進行對比。實驗結果表明:(1)在負載較輕情況下，CA算法能夠在保證服務質(zhì)量的情況下，相比于首次適應算法和能耗感知算法

9、，使系統(tǒng)能耗進一步下降3.3%;(2)在負載較重情況下，CA算法在能耗和性能上與這兩種典型的調(diào)度算法相當。
　　4、提出一種適用于系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度算法。由于能耗難以精確度量，本文基于功耗對系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度問題進行描述和建模，提出一種基于公平調(diào)度的資源調(diào)度算法，F(xiàn)S（Fair Scheduling）算法。該算法通過引入調(diào)度權值和放置權值兩個參數(shù)，優(yōu)化多種優(yōu)先級業(yè)務的調(diào)度。實驗結果表明，在輕負載場景和重負載