分布式檢查點系統(tǒng)的存儲優(yōu)化策略研究.pdf

1、隨著計算機硬件水平的不斷提高，超級計算和云計算架構的規(guī)模以及復雜度也隨之而增加。然而隨著計算規(guī)模以及復雜度的增加，計算任務發(fā)生故障的概率也會增加。例如在分布式系統(tǒng)中，一個節(jié)點的計算因為意外情況導致運行失敗將導致整個計算任務運行失敗，這將帶來巨大的資源浪費。因此，能夠在故障發(fā)生時容忍故障就顯得尤為重要了。檢查點技術就是這樣一種有效的容錯手段，已經(jīng)被廣泛應用于計算機、數(shù)據(jù)庫系統(tǒng)中。通過使用檢查點技術，可以將程序在內(nèi)存中的狀態(tài)信息寫入到持久性

2、的存儲設備中。一旦程序運行發(fā)生了意外，通過將檢查點文件中的內(nèi)容重新映射到內(nèi)存中，最后能恢復程序的繼續(xù)運行，這樣就能夠最大程度的避免計算時間和資源的浪費。
　　然而隨著檢查點需要存儲的內(nèi)容越來越多，而且檢查點的設置也越來越頻繁，因此使得檢查點文件的大小也越來越大，這樣就給存儲的可擴展性帶來了巨大的挑戰(zhàn)。本文首先分析了檢查點文件中所組成的內(nèi)容，然后針對于這些不同的內(nèi)容來進行實驗，以此來獲取檢查點文件中內(nèi)容的冗余性。在檢查點文件中存儲的

3、內(nèi)容有:進程描述符、進程地址空間中的內(nèi)容、寄存器里面的數(shù)據(jù)等。而對這些內(nèi)容在檢查點文件中存儲的比例中分析，發(fā)現(xiàn)進程地址空間中的內(nèi)容占據(jù)了檢查點文件中大部分的存儲空間。在隨后對進程地址空間中的內(nèi)容進行分析后發(fā)現(xiàn)，棧段自身存在著非常多的冗余信息，而在分布式程序中，不同進程間的堆、棧段有著極高的相似度，同時這些進程所運行的代碼段、加載鏈接庫以及采取了共享內(nèi)存通信方式的共享內(nèi)存內(nèi)容都是相同的。根據(jù)檢查點文件中所組成內(nèi)容的冗余性，本文提出了一種減