基于Docker的資源預(yù)調(diào)度策略構(gòu)建彈性集群的研究.pdf

1、在實際環(huán)境中，服務(wù)器會經(jīng)常出現(xiàn)不可預(yù)知的負載需求，特別是像天貓雙11等活動每年都在刷新交易記錄，大量的訂單交易背后是突增的巨大用戶訪問量，此時需要快速增加集群中服務(wù)器的數(shù)量來應(yīng)對額外負載，同時在流量下降時，需要停止空閑服務(wù)器以降低成本。因此構(gòu)建彈性集群，實現(xiàn)集群服務(wù)器數(shù)量的自動伸縮顯得尤為重要。
　　彈性伸縮是云計算中的一個重要功能，而虛擬化技術(shù)是支撐云計算的重要技術(shù)基石，虛擬化的程度不同決定了云平臺的架構(gòu)，Docker容器技術(shù)作

2、為操作系統(tǒng)級的虛擬化為云平臺的架構(gòu)提出了新思路，它是基于進程級隔離的，相較于目前大多數(shù)基于虛擬機技術(shù)的云平臺而言，移除了客戶操作系統(tǒng)層，能夠提供更快的啟停速度和更優(yōu)的資源利用率。
　　本文研究使用Docker容器技術(shù)作為底層云平臺虛擬化技術(shù)，通過對集群性能的實時監(jiān)控及資源的合理調(diào)度，構(gòu)建彈性集群，應(yīng)對不可預(yù)知的負載需求，保證云服務(wù)平臺低成本、高效、穩(wěn)定的運營，大大提高云平臺的資源利用率，更加有效的應(yīng)對網(wǎng)絡(luò)峰值，提供高吞吐率和低延遲

3、的服務(wù)。
　　為此，本文實現(xiàn)了以下內(nèi)容:(1)解決構(gòu)建容器集群的兩個主要問題:跨主機容器通信和文件共享。針對前者提出了三種解決方案:OVS+GRE、Flannel、直接路由，針對后者提出了構(gòu)建鏡像倉庫解決鏡像共享問題，結(jié)合DRBD構(gòu)建多節(jié)點NFS網(wǎng)絡(luò)文件系統(tǒng)解決數(shù)據(jù)持久化存儲問題，為彈性集群提供實踐環(huán)境。(2)實現(xiàn)了Docker彈性集群性能監(jiān)控。基于OpenTSDB和Docker容器技術(shù)實現(xiàn)了對容器及集群節(jié)點的性能數(shù)據(jù)的采集、存儲

4、、分組聚合及展示，也為構(gòu)建彈性集群中彈性伸縮組的觸發(fā)機制提供了判定條件。(3)構(gòu)建彈性伸縮組。使用Haproxy提供負載均衡服務(wù)、Consul提供彈性伸縮組的服務(wù)自動發(fā)現(xiàn)機制、Confd定期獲取Consul中的服務(wù)信息并動態(tài)生成Haproxy配置文件。(4)研究并實現(xiàn)了多種資源調(diào)度策略。首先是構(gòu)建彈性集群過程中的基于資源使用量的資源調(diào)度策略，然后為解決集群資源使用量不均勻問題實現(xiàn)了宿主機調(diào)度策略，最后實現(xiàn)了基于LMS算法的負載預(yù)測調(diào)度策