進化存儲系統(tǒng)中的邏輯和物理進化研究.pdf

1、現(xiàn)有存儲系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結構，而靜態(tài)組織結構模型不能很好地刻畫處于不斷變化之中的系統(tǒng)，此外，現(xiàn)有存儲系統(tǒng)缺少適應不斷變化的存儲要求的機制。這種結構往往只適合于特定的應用需要。針對現(xiàn)有存儲系統(tǒng)存在的問題，進化存儲系統(tǒng)（Evolving Storage System，ESS）主要從如何構建一個動態(tài)的、適應外部應用不斷變化的存儲系統(tǒng)的組織結構，采用何種數(shù)據(jù)分布優(yōu)化策略，以及系統(tǒng)對于新部件替換和添加的策略進行探討和研究，致力于給

2、用戶提供一個高容量、高性能、高可用、可擴展的，能夠適應多種負載特征的存儲系統(tǒng)。 根據(jù)“進化存儲系統(tǒng)”的概念和思想，并基于IEEE開放存儲系統(tǒng)互連參考模型（IEEE Open Storage System Interconnection Reference Model, OSSI Model）建立的ESS系統(tǒng)體系結構視圖，詳細描述了ESS存儲系統(tǒng)各部件的功能，便于該系統(tǒng)的軟件實現(xiàn)。ESS系統(tǒng)中的進化策略可分為物理進化和邏輯進化。為

3、設計和實現(xiàn)ESS系統(tǒng)，需要解決的幾個問題是：（1）ESS系統(tǒng)采用何種體系結構，以有效地管理中/大規(guī)模數(shù)目的磁盤、服務于大范圍特征的負載（2）ESS系統(tǒng)如何調整數(shù)據(jù)的分布，以適應系統(tǒng)工作負載的動態(tài)變化（3）如何用異構磁盤替換系統(tǒng)中的失效磁盤，以及如何向系統(tǒng)添加新的磁盤，實現(xiàn)ESS系統(tǒng)的物理進化。 磁盤陣列（RAID）利用多個磁盤的并行工作來提高存儲子系統(tǒng)的I/O性能，并采用數(shù)據(jù)冗余策略來保證可用性。為了適應對存儲子系統(tǒng)容量和性能有

4、很高要求的應用的飛速發(fā)展，ESS系統(tǒng)依舊必須采用RAID技術，同時，ESS系統(tǒng)借鑒集群文件系統(tǒng)中分布式虛擬磁盤的概念，提出了一種可動態(tài)調節(jié)的、由自適應的陣列單元構成的系統(tǒng)結構——ESS系統(tǒng)把所有系統(tǒng)磁盤構建成若干個結構與傳統(tǒng)陣列完全相同的“子”RAID（SubRAID），這些SubRAID共同組成一個全局的存儲空間；但各SubRAID可以根據(jù)其組成磁盤的數(shù)目、容量、性能、以及所服務負載的特點不同而采用不同的數(shù)據(jù)分布方式和性能優(yōu)化策略。因

5、此，通過結構不同的SubRAID服務不同的應用請求，整個ESS系統(tǒng)能夠對各個用戶表現(xiàn)出更佳的性能。 為了給應用提供更好的服務質量，存儲系統(tǒng)數(shù)據(jù)的組織和分布需要隨著外在的數(shù)據(jù)流輸入輸出的變化而變化。ESS系統(tǒng)采用“兩級”的數(shù)據(jù)遷移策略，即先通過SubRAID內部的數(shù)據(jù)遷移來對負載波動作出響應，更大幅度的負載變化則通過數(shù)據(jù)在SubRAID之間的動態(tài)遷移來適應。SubRAID內部的數(shù)據(jù)遷移策略基于PMSH算法，該算法利用多分區(qū)磁盤具有

6、遠軸心區(qū)數(shù)據(jù)傳輸率較高的特點，根據(jù)分條單元的“熱度”，動態(tài)地將訪問率高的分條單元遷移到其所在磁盤的數(shù)據(jù)傳輸率較高的分區(qū)； SubRAID間的數(shù)據(jù)動態(tài)遷移策略根據(jù)用戶負載請求大小、讀寫請求比率的不同將數(shù)據(jù)遷移到組成磁盤數(shù)目、容量、性能、以及數(shù)據(jù)分布方式和性能優(yōu)化策略不同的SubRAID，因此通過數(shù)據(jù)在SubRAID內部和SubRAID之間的動態(tài)遷移，ESS系統(tǒng)數(shù)據(jù)的組織以及整個系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化

7、而相應改變，實現(xiàn)ESS系統(tǒng)數(shù)據(jù)邏輯進化。 進化存儲系統(tǒng)要克服的一個主要矛盾是元部件飛速發(fā)展和存儲系統(tǒng)整體結構相對固定的矛盾，目前結構的存儲系統(tǒng)不會由于更新了部件而得到整體性能的提高。ESS存儲系統(tǒng)主要考慮的元部件是系統(tǒng)磁盤。磁盤技術的迅速發(fā)展以及應用對存儲系統(tǒng)的容量和性能的要求日益增加使存儲系統(tǒng)中的磁盤呈現(xiàn)三種類型的動態(tài)變化：同構磁盤的添加、異構磁盤的添加以及異構磁盤的替換。ESS系統(tǒng)的可擴展性和磁盤的異構性使其能很好地適應磁盤