典型內(nèi)存計算系統(tǒng)的內(nèi)存開銷評測研究.pdf

1、在大數(shù)據(jù)計算領(lǐng)域，開源分布式并行計算平臺Spark吸引了越來越多人們的關(guān)注。它基于內(nèi)存計算的特點(diǎn)，極大提升了迭代計算的效率，卻也存在著內(nèi)存溢出異常(Out of Memory，OOM)經(jīng)常發(fā)生的問題，針對基于Spark系統(tǒng)的大數(shù)據(jù)應(yīng)用進(jìn)行一體化的性能分析，為優(yōu)化系統(tǒng)性能和保證服務(wù)質(zhì)量提供依據(jù)，成為一個迫切需要。
　　為了實(shí)現(xiàn)以Spark為代表的典型內(nèi)存計算系統(tǒng)的內(nèi)存開銷評測，本文將設(shè)計與開發(fā)一個針對Spark的一體化性能分析工具S

2、park Profiling Tool(SPT)，它能夠采集系統(tǒng)軟件棧多個層次的運(yùn)行數(shù)據(jù)，并進(jìn)行關(guān)聯(lián)分析，同時針對Spark系統(tǒng)經(jīng)常出現(xiàn)的OOM問題，提出基于SPT工具的內(nèi)存性能分析與優(yōu)化方案。本文主要工作包括:
　　(1)SPT工具的總體設(shè)計，包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊等，以及模塊之間的接口與數(shù)據(jù)交換規(guī)范。
　　(2)數(shù)據(jù)采集模塊，針對應(yīng)用層、操作系統(tǒng)層、體系結(jié)構(gòu)層等不同層次運(yùn)行數(shù)據(jù)的特點(diǎn)，采用不同方法

3、進(jìn)行獲取。設(shè)計實(shí)現(xiàn)了動態(tài)可開關(guān)的運(yùn)行狀態(tài)探針，進(jìn)行動態(tài)插樁監(jiān)測，實(shí)現(xiàn)不同粒度性能數(shù)據(jù)的動態(tài)采集。
　　(3)數(shù)據(jù)預(yù)處理模塊，針對采集的數(shù)據(jù)多源異構(gòu)、信息冗余等問題，進(jìn)行不同文件間的數(shù)據(jù)重組和提取，形成統(tǒng)一格式的中間文件。同時，為保證處理效率，該模塊借助Spark編程實(shí)現(xiàn)。
　　(4)數(shù)據(jù)分析模塊，基于Spark集群的分布式并行計算能力，借助Spark SQL，通過實(shí)現(xiàn)多種UDF和UDAF，完成Spark應(yīng)用系統(tǒng)性能監(jiān)測數(shù)據(jù)的