低開銷的無盤檢查點機制研究及應(yīng)用.pdf

1、無盤檢查點機制被提出用以解決基于穩(wěn)定存儲的檢查點機制引入的I/O瓶頸問題，同時達到在大規(guī)模系統(tǒng)中容忍少量計算節(jié)點同時發(fā)生故障的目的。其核心思想是將檢查點數(shù)據(jù)分散保存在所有節(jié)點的內(nèi)存中而不是一個穩(wěn)定存儲中以避免I/O瓶頸。同時為了保證內(nèi)存中檢查點數(shù)據(jù)的有效性，編碼技術(shù)被應(yīng)用。編碼技術(shù)使用所有檢查點數(shù)據(jù)編碼出多份編碼數(shù)據(jù)并保存到冗余節(jié)點的內(nèi)存中。當故障發(fā)生時，雖然保存在故障節(jié)點上的檢查點數(shù)據(jù)會丟失，但是卻可以通過保存在冗余節(jié)點上的編碼數(shù)據(jù)以

2、及保存在未故障節(jié)點上的檢查點數(shù)據(jù)來恢復(fù)。
　　然而對于現(xiàn)有的編碼機制，編碼過程需要跨節(jié)點完成，這導(dǎo)致了極大的通信開銷，尤其是對于網(wǎng)絡(luò)帶寬受限的系統(tǒng)。本文提出了一種縱向編碼機制來減少通信開銷，其核心思想是通過檢查點數(shù)據(jù)劃分以及限制編碼過程到每個節(jié)點以減少節(jié)點之間的通信量。對于應(yīng)用該方案的系統(tǒng)，在檢查點執(zhí)行（或故障恢復(fù)）過程中，每個節(jié)點僅需發(fā)送一倍于本地檢查點的數(shù)據(jù)以及幾個冗余編碼塊到其他節(jié)點。因此，本文提出的編碼方案可以極大的削減檢

3、查點執(zhí)行和故障恢復(fù)過程中的通信量，而且沒有引入額外的編碼開銷，實驗結(jié)果亦證明了這兩點。另外，就容忍n個節(jié)點中k個節(jié)點同時發(fā)生錯誤所付出的開銷不會隨著n增大而增大而言，該機制具有很好的擴展性。此外，當n>>k時，從單個節(jié)點的角度來考慮，縱向編碼機制可以避免冗余節(jié)點的使用，同時保證和現(xiàn)有編碼機制近似的內(nèi)存占用。最后，本文將該方案擴展到多級無盤檢查點機制中以獲得更好的性能。
　　另外，通過對比無盤檢查點容錯和分布式存儲容錯的共性，本文給