容錯存儲系統(tǒng)校驗更新及修復優(yōu)化技術研究.pdf

1、近年來隨著數(shù)據的爆炸式增長，數(shù)據的存儲規(guī)模越來越大，傳統(tǒng)的單機系統(tǒng)已經無法滿足高速增長的數(shù)據存儲需求。分布式存儲系統(tǒng)使用大量廉價商用服務器通過網絡互聯(lián)，可以提供極強的服務能力和擴展能力。然而，隨著集群規(guī)模的變大、存儲設備的增多，存儲節(jié)點失效已不是偶然事件。因此，分布式存儲系統(tǒng)對數(shù)據的可靠性要求尤為突出。分布式存儲系統(tǒng)常用的容錯技術有兩種，多副本技術和糾刪碼技術。糾刪碼技術相對于多副本技術在提供相同容錯能力的前提下，所需的存儲開銷更小，因

2、此被存儲系統(tǒng)廣泛采用。糾刪碼技術通過對數(shù)據切塊，計算并存儲一定的冗余數(shù)據，當發(fā)生不超過系統(tǒng)容錯能力的節(jié)點失效時，可以利用存活節(jié)點的數(shù)據恢復出失效節(jié)點的數(shù)據。所以，為保證部署糾刪碼的存儲系統(tǒng)的可靠性，在數(shù)據塊更新的同時需要更新與之關聯(lián)的校驗數(shù)據;同時，當存儲校驗數(shù)據的節(jié)點失效時，快速的故障數(shù)據恢復對保證分布式存儲系統(tǒng)的可靠性也同等重要。本文主要研究了部署糾刪碼的存儲系統(tǒng)校驗更新及修復優(yōu)化問題，主要研究內容與貢獻如下:
　　(1)校驗

3、數(shù)據更新優(yōu)化研究
　　隨著業(yè)務規(guī)模的增長，已有的存儲系統(tǒng)往往無法滿足上層應用更大的存儲容量和更高的訪問帶寬需求。當應用需求超過存儲系統(tǒng)的負荷時，需要增加新的存儲介質到已有的系統(tǒng)中，并將部分數(shù)據遷移到新的存儲設備上，以均衡負載和提供更大的訪問帶寬。然而，數(shù)據遷移會造成大量校驗更新，由此給系統(tǒng)造成額外負載。本文針對擴容過程中的校驗數(shù)據更新問題，提出了一種優(yōu)化策略EPU(EfficientParityUpdateAlgorithm)。首

4、先，EPU根據用戶請求訪問情況調整擴容順序，以最大化利用用戶請求節(jié)省校驗更新引發(fā)的I/O;其次，EPU通過比較不同校驗更新方式的系統(tǒng)開銷，選擇最佳的校驗更新方式，并盡可能的聚合校驗更新I/O以減小系統(tǒng)開銷。相比于傳統(tǒng)擴容方法采用固定的校驗更新方式，使用EPU，既可以減少擴容過程引發(fā)的系統(tǒng)帶寬開銷，也能加快擴容過程的完成。
　　(2)校驗數(shù)據故障恢復優(yōu)化研究
　　分布式存儲系統(tǒng)的規(guī)模越來越大，有的甚至達到幾百上千臺集群規(guī)模。龐

5、大的節(jié)點數(shù)目造成節(jié)點故障頻發(fā)，當發(fā)生節(jié)點失效時，需要將失效節(jié)點修復，以維持數(shù)據的可用性。并且，數(shù)據的修復速度應盡可能的快，因為如果修復時間過長，修復期間有可能發(fā)生更多節(jié)點失效，若失效節(jié)點數(shù)量超過系統(tǒng)的容錯能力，將造成數(shù)據的永久丟失。因此，數(shù)據的快速修復對于系統(tǒng)的可靠性至關重要。本文提出了一種基于局部校驗和全局校驗相結合的新型編碼ESRC(EfficientSingle-failureRecoveryCode)碼，該編碼可以高效地修復單個