提高存儲系統(tǒng)服務質量的糾刪碼應用技術研究.pdf

1、隨著信息技術的不斷突破和快速發(fā)展，現代社會產生的各種信息數據呈指數級增長。在大數據時代來臨之際，人們對存儲系統(tǒng)的要求也越來越高，希望系統(tǒng)能夠提供高性能、低能耗、高可靠性以及高空間利用率的存儲支持，網絡間的數據交互還需要在低帶寬消耗的情況下完成。近年來，糾刪碼技術作為提高存儲系統(tǒng)性能、可靠性、存儲效率以及降低能耗、數據傳輸和維護成本的關鍵技術，越來越受到重視，已成為存儲學術界和工業(yè)界的研究熱點。
　　論文重新定義了存儲系統(tǒng)服務質量的

2、含義，其內容包括性能、可靠性、帶寬消耗、成本（包括能耗成本和存儲空間成本）。全文圍繞基于糾刪碼在存儲系統(tǒng)中的不同應用開展研究，目標是提高存儲系統(tǒng)的服務質量。研究內容具體包括：提高系統(tǒng)性能、降低能耗并提供可靠性保證的糾刪碼研究，提高存儲空間利用率的糾刪碼研究，節(jié)省修復帶寬的糾刪碼研究。對每個方面的研究都通過系統(tǒng)的實驗和分析來驗證所提方法的有效性。
　　在提高系統(tǒng)性能、降低能耗并提供可靠性保證的糾刪碼研究方面，提出了一種高性能、低能耗

3、、高可靠性的架構PERAID，系統(tǒng)在主存儲區(qū)分出一部分空間，建立糾刪碼的緩存區(qū)域來接收新的寫請求同時保證寫數據的可靠性。糾刪碼的緩存區(qū)域提供多容錯的能力，因此整個系統(tǒng)的可靠性和多副本系統(tǒng)的可靠性相當。提出了寫緩存算法ECW和倒盤算法MCFD來提高系統(tǒng)的寫性能和倒盤性能，另外在用戶請求較少的情況下，可以關閉鏡像盤來降低能耗。實驗數據表明，PERAID在提高系統(tǒng)性能和降低能耗方面優(yōu)于目前的解決方案。
　　在提高存儲空間利用率的糾刪碼研

4、究方面，提出了基于CRS編碼改進的ICRS編碼，利用其編解碼速度快的優(yōu)勢來提高系統(tǒng)編解碼性能。同時提出了一種面向大數據備份存儲機制，提高了存儲空間利用率。對系統(tǒng)的整體架構和軟件模塊進行了分析設計，系統(tǒng)將節(jié)點分成若干微型節(jié)點并且能夠同時操作，從而能夠提高系統(tǒng)的性能并使得系統(tǒng)負載更加均衡。測試結果證明系統(tǒng)能更快的完成編解碼工作，編碼速度上ICRS碼優(yōu)于CRS碼和RS碼，最高達到34.2％和56.5％，解碼速度上ICRS碼優(yōu)于CRS碼和RS碼

5、，最高達到18.1％和31.1％。
　　在節(jié)省修復帶寬的糾刪碼研究方面，提出了一種基于糾刪碼的精確修復算法ECode，并提出具有低修復帶寬和低維護代價的云存儲架構BMCloud。該架構綜合利用了功能修復和精確修復，因而兼有兩種修復的優(yōu)點。同時，提出JUDGE_STYLE算法來判斷采用何種修復方式：對小規(guī)模數據失效采用精確修復方式修復，修復計算消耗和帶寬消耗都較小，而且修復方式靈活多變，能夠在較快時間內迅速修復系統(tǒng)；對于大規(guī)模的數據