面向高可用性的MPI并行進(jìn)程遷移機(jī)制研究.pdf

1、隨著高性能計(jì)算技術(shù)的飛速發(fā)展，高性能計(jì)算（High Performance Computing，HPC）系統(tǒng)的中組件的數(shù)量和規(guī)模的急劇增大，系統(tǒng)的平均故障間隔時(shí)間（Mean Time Between Failure，MTBF）也隨之大幅降低，嚴(yán)重影響了系統(tǒng)的可靠性。因此，為HPC配備自主容錯(cuò)能力至關(guān)重要。檢查點(diǎn)和回卷（Checkpoint/Rollback，C/R）技術(shù)是 HPC中廣泛采用的自主容錯(cuò)手段。但是，C/R技術(shù)通常會(huì)帶來巨大的

2、I/O開銷，已經(jīng)不能滿足HPC應(yīng)用的需求。進(jìn)程遷移是一種主動(dòng)式的自主容錯(cuò)機(jī)制，是對C/R技術(shù)的擴(kuò)充，將即將失效節(jié)點(diǎn)上運(yùn)行的進(jìn)程傳輸?shù)絺溆霉?jié)點(diǎn)上，從備用節(jié)點(diǎn)恢復(fù)這些進(jìn)程。
　　首先，本文研究了國內(nèi)外 HPC系統(tǒng)自主容錯(cuò)機(jī)制的發(fā)展現(xiàn)狀，分析了廣泛使用的檢查點(diǎn)和回卷技術(shù)與進(jìn)程遷移機(jī)制。其次，為了在基于InfiniBand的多核HPC系統(tǒng)上，對MPI并行程序執(zhí)行檢查點(diǎn)和卷回操作，本文深入研究了傳統(tǒng)的C/R框架和InfiniBand信道架構(gòu)

3、，擴(kuò)展了傳統(tǒng)的C/R框架，提出了一個(gè)基于FTB（Fault Tolerance Backplane）的C/R框架。在此基礎(chǔ)上，本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于FTB的進(jìn)程遷移機(jī)制，采用FTB作為容錯(cuò)控制消息通信框架，實(shí)現(xiàn)進(jìn)程遷移過程中的容錯(cuò)控制消息傳遞，提高了開源MPI實(shí)現(xiàn)的容錯(cuò)能力。此外，本文還分析了進(jìn)程遷移過程中各階段的開銷情況，針對檢查點(diǎn)數(shù)據(jù)寫入和傳輸階段的高開銷問題，設(shè)計(jì)了一個(gè)進(jìn)程遷移協(xié)議，縮短了進(jìn)程遷出即將失效節(jié)點(diǎn)的時(shí)間，提高了HPC