海量存儲系統(tǒng)中數(shù)據(jù)分布進化及其關鍵技術的研究.pdf

1、信息化的飛速發(fā)展推動存儲系統(tǒng)在規(guī)模、體系結(jié)構等方面都出現(xiàn)了新的改變，朝著大規(guī)模、復雜化的方向演化。同時系統(tǒng)所服務的I/O 負載也呈現(xiàn)出多樣性、不平衡性和動態(tài)性。而當前海量存儲系統(tǒng)往往直接繼承傳統(tǒng)小規(guī)模存儲系統(tǒng)結(jié)構和運行機制，還很難適應具有動態(tài)、并發(fā)、多樣等特性的大規(guī)模I/O 負載要求。現(xiàn)有的存儲系統(tǒng)物理和邏輯的組織基于靜態(tài)的結(jié)構，該結(jié)構很難感知外部負載請求特征和系統(tǒng)的運行狀態(tài)動態(tài)改變，從而無法調(diào)整自身的存儲組織結(jié)構以滿足不同I/O 負載

2、在時間和空間上的變化，無法有效和自動提高系統(tǒng)的整體存儲效率。面對上述問題，設計針對海量存儲系統(tǒng)的數(shù)據(jù)分布進化機制，對存儲系統(tǒng)的動態(tài)數(shù)據(jù)存取負載特性進行分析，根據(jù)數(shù)據(jù)的歷史訪問信息通過熱度模型對未來訪問趨勢加以預測，將不同熱度的數(shù)據(jù)與不同性能等特征級別的存儲資源組加以匹配映射，動態(tài)對數(shù)據(jù)進行遷移和重新分布，以達到提升整體存儲效率的目的。數(shù)據(jù)分布進化的過程完全是自動化的，由進化規(guī)則進行控制，通過進化規(guī)則管理系統(tǒng)進行調(diào)度。
　　 闡述

3、了能夠根據(jù)當前運行環(huán)境自動調(diào)整存儲組織模式的海量存儲系統(tǒng)中的數(shù)據(jù)分布進化技術。該系統(tǒng)能在運行過程中根據(jù)I/O 負載及自身狀態(tài)的變化，自動選擇最適合當前存取負載特征的數(shù)據(jù)分布模式，滿足多用戶環(huán)境下負載對于性能和可靠性等方面的要求。
　　 建立了數(shù)據(jù)存取的熱度計算模型，對數(shù)據(jù)存取負載的數(shù)據(jù)熱點進行量化計算和預測。和一般的熱度研究結(jié)果僅僅涉及數(shù)據(jù)集的訪問次數(shù)和頻率不同，改進后的熱度還綜合考慮到訪問請求的時間序列因素，使之能夠更加有效的

4、體現(xiàn)負載的歷史信息，從而能更準確的反映存取負載未來趨勢。分別針對文件和LUN的熱度進行了分析和定義，以真實的trace數(shù)據(jù)對熱度計算模型加以測試，深入的分析了熱度公式的實際數(shù)據(jù)表現(xiàn)。測試中發(fā)現(xiàn)，數(shù)據(jù)的熱度和訪問次數(shù)和頻率正相關，和訪問的時間間隔負相關，實驗證明熱度公式能夠較好的對未來的訪問行為進行趨勢預測。設計了根據(jù)數(shù)據(jù)熱度進行數(shù)據(jù)分布進化的數(shù)據(jù)遷移機制。數(shù)據(jù)分布進化中，需要動態(tài)調(diào)整數(shù)據(jù)的分布，以適應系統(tǒng)工作負載的變化，從而提升整體系統(tǒng)

5、的效率。
　　 在一般的設計中，根據(jù)RAID 級別或RAID組對系統(tǒng)存儲資源進行分級，而在進化存儲系統(tǒng)中，對系統(tǒng)內(nèi)所有存儲資源按照性能和可靠性等特性進行分級。依據(jù)程序訪問的局部性原理，針對不同行為特性和需求的熱點數(shù)據(jù)，匹配以相應級別的存儲資源，從而有效的利用存儲池中的不同存儲資源，以顯著提高進化存儲系統(tǒng)的整體效率。數(shù)據(jù)遷移策略中還對數(shù)據(jù)遷移的觸發(fā)條件和開銷進行了定義，并設計了進化存儲系統(tǒng)的數(shù)據(jù)替換策略。在實驗部分，通過原型系統(tǒng)驗

6、證了分級存儲數(shù)據(jù)遷移對性能提升的效果。
　　 設計了獨立的進化規(guī)則管理系統(tǒng)，實現(xiàn)海量存儲系統(tǒng)的自動化管理。在大規(guī)模存儲系統(tǒng)中，無論存儲系統(tǒng)的物理管理和海量數(shù)據(jù)的邏輯組織和分布都是極為復雜和動態(tài)的，僅僅依賴人工管理是不可行的，因此需要設計基于一系列存儲規(guī)則的系統(tǒng)來管理和調(diào)度系統(tǒng)運行狀態(tài)。在通常的系統(tǒng)中，規(guī)則的所有參數(shù)都硬編碼在代碼中，使得規(guī)則的定義、更改和查詢非常困難。在規(guī)則管理系統(tǒng)中，通過對規(guī)則詞匯的定義，并引入決策表和決策樹的