基于計算特性的Spark內存自適應管理策略研究.pdf

1、伴隨著信息時代到來的是海量的數據信息，在被稱為“大數據”時代的21世紀，大數據的處理成為了這個時代的難題。目前，分布式計算機技術是處理大數據的主流方式，通過建立分布式集群，能讓分布式系統(tǒng)獲得堪比超級計算機的運算能力，而且分布式系統(tǒng)的計算和存儲能力還會隨著集群的擴展而不斷提升。但是，內存容量不足一直是制約分布式系統(tǒng)性能的一大因素，但隨著內存制造工藝的發(fā)展提高，一種新型的基于內存計算技術的分布式框架——Spark，應運而生。Spark在處理

2、迭代式機器學習運算和交互式實時查詢操作時，所獲得的性能遠超其他分布式框架。然而，內存容量始終要比數據的規(guī)模小得多，在內存不足時，Spark會遭遇到性能瓶頸。
　　如何高效地使用內存，成為了提升Spark系統(tǒng)性能的關鍵問題。為了解決這個難題，本課題設計了一種自適應的內存調優(yōu)策略。這種自適應調優(yōu)策略主要分為三個部分：首先，是針對數據序列化算法的自適應優(yōu)化策略。數據序列化是分布式系統(tǒng)中常用的優(yōu)化方式，與系統(tǒng)性能的優(yōu)劣密切相關。序列化方法

3、在節(jié)省存儲空間的同時，還能減輕系統(tǒng)垃圾回收的壓力。同時，數據要在分布式集群各個節(jié)點間傳輸，也必須要進行序列化操作。序列化自適應策略通過當前系統(tǒng)的資源消耗情況，來選擇合適的序列化算法。其次，是數據壓縮算法的的自適應優(yōu)化策略。壓縮算法可將數據壓縮至原來的幾分之一，甚至十幾分之一，相比于序列化方法，更能節(jié)省系統(tǒng)存儲空間。但是，每種不同的壓縮算法之間，也是存在差異的。自適應算法會根據系統(tǒng)情況選擇合適的壓縮算法。最后，是垃圾回收的自適應優(yōu)化策略。

4、對于運行在JVM虛擬機上的Spark分布式框架來說，JVM的性能優(yōu)劣直接關系到了整個系統(tǒng)的性能好壞。自適應算法通過收集和分析系統(tǒng)當前系統(tǒng)信息，進行垃圾回收的調優(yōu)。
　　在設計部分，通過對Spark源代碼的添加和修改，本課題在原生的Spark系統(tǒng)上實現了SATS（Spark Adaptive Tuning Strategy）子系統(tǒng)，系統(tǒng)分為三個模塊：運行時數據收集模塊、自適應決策模塊和參數優(yōu)化模塊。實現部分對著三個模塊的實現細節(jié)進行