云環(huán)境下支持彈性伸縮的流計算研究與實現.pdf

1、近年來，隨著互聯網的發(fā)展，數據越來越多，其新增速率也快來越快，為了應對這個問題，越來越多的流計算系統(tǒng)被推出。它接受數據的實時輸入，然后以比較低的延遲處理數據并輸出，在金融、互聯網等對實時性要求比較高的領域得到了廣泛的應用。雖然流計算系統(tǒng)能夠以近乎實時的效率處理大量數據，但它卻忽視了大數據的另一個重要特征——變化大，該特征包含很多方面的含義，其中本論文關注的重點是速率的變化大。速率變化大造成的后果就是流計算系統(tǒng)的負載時高時低，甚至會在速率

2、超出預期太多的情況下，造成系統(tǒng)的崩潰。
　　為了解決上述問題，想到讓流計算系統(tǒng)具有彈性伸縮的能力。不過傳統(tǒng)的彈性計算大都是站在云的角度來考慮問題的，在他們的假設中，運行在云上的系統(tǒng)都是分布式的，且都可以很容易地被擴展。在Web服務器領域，這個假設可以認為是成立的，然而大部分情況下，它并不是完全正確的，特別是在分布式系統(tǒng)中，機器的伸縮會涉及到很多問題。當然也有一些研究是針對具體的流計算系統(tǒng)的，但他們大多只會根據系統(tǒng)的狀態(tài)而不考慮集群

3、的狀態(tài)來決定是否伸縮系統(tǒng)，此外，這些研究也沒有涉及到完整的伸縮以及調度過程，只關注于其中的一部分，如伸縮算法，可伸縮框架等。
　　針對這些問題，本文提出了一個基于云的可彈性伸縮的流計算解決方案，并基于Storm實現了一個彈性流計算系統(tǒng)RubberStream。它通過對系統(tǒng)的實時監(jiān)控，能夠迅速發(fā)現各組件的負載異常，并及時對它們的并行度進行適當調整，同時它還能夠結合集群中的服務器狀態(tài)，自動對集群的規(guī)模進行伸縮。在伸縮時，RubberS

4、tream可以根據云服務提供商的價格自動選擇水平伸縮或垂直伸縮。此外，RubberStream還支持不同配置機器間的負載均衡調度，以解決垂直伸縮帶來的機器異構性問題。
　　在文章的最后，本論文在真實的商用云平臺阿里云上對RubberStream的功能以及性能進行了驗證。實驗結果表明，RubberStream不僅能夠在適當時候正確地調整組件的并行度以及集群規(guī)模，而且能夠在有效地減少資源消耗的前提下，提供與靜態(tài)大規(guī)模Storm集群相當