谷歌文件系統(tǒng)下一種基于實用網(wǎng)絡編碼的方法.pdf

1、隨著要管理數(shù)據(jù)量不斷增長,分布式存儲系統(tǒng)為通過網(wǎng)絡分布式存儲節(jié)點存放大量的數(shù)據(jù)提供一個可靠的平臺。確保數(shù)據(jù)的可靠性,對抗存儲節(jié)點故障,需要引進的冗余。維護所需的冗余,系統(tǒng)必須支持數(shù)據(jù)恢復(或修理),其中包括從現(xiàn)有節(jié)點讀取數(shù)據(jù),并在新的節(jié)點重建基本數(shù)據(jù)?；趶椭频牟呗允窃S多大型存儲系統(tǒng)用來產(chǎn)生冗余的最簡單的方法。擦除編碼是另一個冗余的方法。也有再生的代碼,分布式存儲系統(tǒng)中一個基于網(wǎng)絡編碼的數(shù)據(jù)快速恢復策略的擦除編碼。
　　當一個存儲

2、節(jié)點出現(xiàn)故障時,它要從其他存儲了部分數(shù)據(jù)的節(jié)點下載整個文件,然后重新編碼數(shù)據(jù)修復。因此,恢復只存儲整個信息部分數(shù)據(jù)的節(jié)點但下載了整個信息,所需的帶寬是浪費。
　　這項研究工作提供了一個實用的網(wǎng)絡谷歌文件系統(tǒng)的編碼方法。這種方法采用網(wǎng)絡編碼來為谷歌文件系統(tǒng)提供冗余,與以復制方式提供冗余進行比較。我們研究在兩種情況下的性能,評估任何塊失敗的概率,從任何尚存的數(shù)據(jù)塊恢復原始數(shù)據(jù)的能力;計算客戶端讀取數(shù)據(jù)時的重傳次數(shù)以及平均帶寬。我們觀察