MPI高性能云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究.pdf

1、云計(jì)算是一種新近流行的計(jì)算模式，是目前進(jìn)行海量數(shù)據(jù)處理的主要技術(shù)手段?，F(xiàn)有云計(jì)算平臺(tái)技術(shù)雖然已較為成熟，但在處理兼具數(shù)據(jù)密集和計(jì)算密集的一類問題上仍有不足，效率較為低下。一方面，目前主流平臺(tái)底層普遍采用虛擬化技術(shù)，所有軟件和應(yīng)用均運(yùn)行在虛擬硬件之上，從而帶來了一定程度上性能的降低，有文獻(xiàn)指出，其性能損耗可達(dá)20％左右，本文使用非虛擬化方法構(gòu)建云計(jì)算平臺(tái)底層的模擬環(huán)境，在其上對其性能進(jìn)行測試，實(shí)驗(yàn)表明，虛擬化技術(shù)的效率只有非虛擬化技術(shù)的5

2、0～70％;另一方面，現(xiàn)有云計(jì)算MapReduce模型，對中間數(shù)據(jù)采用先存儲(chǔ)、再轉(zhuǎn)發(fā)處理的策略，當(dāng)中間數(shù)據(jù)規(guī)模變大時(shí)，產(chǎn)生了大量無用的遠(yuǎn)程I/O操作，其效率不能滿足高性能計(jì)算的應(yīng)用需求。
　　本文在深入分析、研究現(xiàn)有云計(jì)算平臺(tái)的缺點(diǎn)和MPI(Message PassingInterface)技術(shù)容錯(cuò)容災(zāi)能力的基礎(chǔ)之上，自主研發(fā)了一種基于MPI的高性能云計(jì)算平臺(tái)原型系統(tǒng)(MPI-based HPCCP)。該云平臺(tái)不經(jīng)過虛擬化，直接使

3、用異構(gòu)計(jì)算節(jié)點(diǎn)構(gòu)建云平臺(tái)底層;采用增加多級容錯(cuò)容災(zāi)功能的MPI技術(shù)和多線程技術(shù)重寫MapReduee編程模型，避免大量無用的I/O操作，從而提高云計(jì)算的效率，以滿足兼具數(shù)據(jù)密集和計(jì)算密集的海量數(shù)據(jù)高性能計(jì)算問題對云計(jì)算的需要。
　　本文提出的“MPI高性能云計(jì)算平臺(tái)”的主要?jiǎng)?chuàng)新點(diǎn)如下:
　　1.針對現(xiàn)有云計(jì)算平臺(tái)底層性能損失較大的問題，提出了一種云計(jì)算平臺(tái)底層的非虛擬化構(gòu)建方法。
　　本文在節(jié)點(diǎn)異構(gòu)環(huán)境下，不使用目前流

4、行的虛擬化技術(shù)，而是利用MPI良好的異構(gòu)環(huán)境開發(fā)能力，直接使用異構(gòu)硬件架設(shè)云基礎(chǔ)設(shè)施服務(wù)層，減少了虛擬化對云底層硬件性能的影響，從而提高了云平臺(tái)效率，實(shí)驗(yàn)表明虛擬化技術(shù)的性能只有非虛擬化技術(shù)的50％～70％.這是本文的一個(gè)重要?jiǎng)?chuàng)新點(diǎn)。
　　2.針對目前MPI在容災(zāi)能力上的不足，本文改進(jìn)了MPI的容災(zāi)技術(shù)，提出并設(shè)計(jì)實(shí)現(xiàn)了一種MPI的多級容災(zāi)方案。
　　雖然MPI有進(jìn)行高性能計(jì)算的優(yōu)異能力，但容災(zāi)能力一直以來是MPI的一個(gè)重要

5、缺陷。此缺陷限制了MPI在海量數(shù)據(jù)處理上的應(yīng)用。不解決此問題，無法將MPI技術(shù)應(yīng)用于云計(jì)算之中。本文著重研究了MPI容錯(cuò)容災(zāi)技術(shù)，實(shí)現(xiàn)了“作業(yè)重調(diào)度”，“作業(yè)/任務(wù)恢復(fù)”和“動(dòng)態(tài)任務(wù)遷移”三個(gè)不同層次的容災(zāi)方案，彌補(bǔ)了MPI容災(zāi)能力的不足，是本文的一個(gè)重要特色和創(chuàng)新點(diǎn)。
　　3.針對現(xiàn)有云計(jì)算編程模型MapReduce計(jì)算效率的不足，本文提出并實(shí)現(xiàn)了一種基于多級容錯(cuò)MPI的MapReduce模型。
　　現(xiàn)有MapReduce

6、模型的數(shù)據(jù)傳遞由分布式文件系統(tǒng)所封裝，計(jì)算過程中需要不斷重復(fù)的對分布式文件系統(tǒng)進(jìn)行I/O操作，從而影響了計(jì)算效率。本文使用多級次容災(zāi)MPI重寫MapReduce編程模型，對中間結(jié)果進(jìn)行直接處理，減少不必要的I/O操作，提高了云計(jì)算速度和效率，執(zhí)行時(shí)間是當(dāng)前主流云平臺(tái)Hadoop的25％，這是本文的重要特色和創(chuàng)新點(diǎn)。
　　本文從系統(tǒng)分片大小對性能的影響，多級容災(zāi)的健壯性、效率，新云計(jì)算平臺(tái)的總體性能方面進(jìn)行了詳細(xì)的測試與分析。并將新