海量存儲(chǔ)系統(tǒng)中數(shù)據(jù)分布進(jìn)化及其關(guān)鍵技術(shù)的研究.pdf

1、信息化的飛速發(fā)展推動(dòng)存儲(chǔ)系統(tǒng)在規(guī)模、體系結(jié)構(gòu)等方面都出現(xiàn)了新的改變，朝著大規(guī)模、復(fù)雜化的方向演化。同時(shí)系統(tǒng)所服務(wù)的I/O 負(fù)載也呈現(xiàn)出多樣性、不平衡性和動(dòng)態(tài)性。而當(dāng)前海量存儲(chǔ)系統(tǒng)往往直接繼承傳統(tǒng)小規(guī)模存儲(chǔ)系統(tǒng)結(jié)構(gòu)和運(yùn)行機(jī)制，還很難適應(yīng)具有動(dòng)態(tài)、并發(fā)、多樣等特性的大規(guī)模I/O 負(fù)載要求。現(xiàn)有的存儲(chǔ)系統(tǒng)物理和邏輯的組織基于靜態(tài)的結(jié)構(gòu)，該結(jié)構(gòu)很難感知外部負(fù)載請(qǐng)求特征和系統(tǒng)的運(yùn)行狀態(tài)動(dòng)態(tài)改變，從而無(wú)法調(diào)整自身的存儲(chǔ)組織結(jié)構(gòu)以滿足不同I/O 負(fù)載

2、在時(shí)間和空間上的變化，無(wú)法有效和自動(dòng)提高系統(tǒng)的整體存儲(chǔ)效率。面對(duì)上述問(wèn)題，設(shè)計(jì)針對(duì)海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)分布進(jìn)化機(jī)制，對(duì)存儲(chǔ)系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)存取負(fù)載特性進(jìn)行分析，根據(jù)數(shù)據(jù)的歷史訪問(wèn)信息通過(guò)熱度模型對(duì)未來(lái)訪問(wèn)趨勢(shì)加以預(yù)測(cè)，將不同熱度的數(shù)據(jù)與不同性能等特征級(jí)別的存儲(chǔ)資源組加以匹配映射，動(dòng)態(tài)對(duì)數(shù)據(jù)進(jìn)行遷移和重新分布，以達(dá)到提升整體存儲(chǔ)效率的目的。數(shù)據(jù)分布進(jìn)化的過(guò)程完全是自動(dòng)化的，由進(jìn)化規(guī)則進(jìn)行控制，通過(guò)進(jìn)化規(guī)則管理系統(tǒng)進(jìn)行調(diào)度。
　　 闡述

3、了能夠根據(jù)當(dāng)前運(yùn)行環(huán)境自動(dòng)調(diào)整存儲(chǔ)組織模式的海量存儲(chǔ)系統(tǒng)中的數(shù)據(jù)分布進(jìn)化技術(shù)。該系統(tǒng)能在運(yùn)行過(guò)程中根據(jù)I/O 負(fù)載及自身狀態(tài)的變化，自動(dòng)選擇最適合當(dāng)前存取負(fù)載特征的數(shù)據(jù)分布模式，滿足多用戶環(huán)境下負(fù)載對(duì)于性能和可靠性等方面的要求。
　　 建立了數(shù)據(jù)存取的熱度計(jì)算模型，對(duì)數(shù)據(jù)存取負(fù)載的數(shù)據(jù)熱點(diǎn)進(jìn)行量化計(jì)算和預(yù)測(cè)。和一般的熱度研究結(jié)果僅僅涉及數(shù)據(jù)集的訪問(wèn)次數(shù)和頻率不同，改進(jìn)后的熱度還綜合考慮到訪問(wèn)請(qǐng)求的時(shí)間序列因素，使之能夠更加有效的

4、體現(xiàn)負(fù)載的歷史信息，從而能更準(zhǔn)確的反映存取負(fù)載未來(lái)趨勢(shì)。分別針對(duì)文件和LUN的熱度進(jìn)行了分析和定義，以真實(shí)的trace數(shù)據(jù)對(duì)熱度計(jì)算模型加以測(cè)試，深入的分析了熱度公式的實(shí)際數(shù)據(jù)表現(xiàn)。測(cè)試中發(fā)現(xiàn)，數(shù)據(jù)的熱度和訪問(wèn)次數(shù)和頻率正相關(guān)，和訪問(wèn)的時(shí)間間隔負(fù)相關(guān)，實(shí)驗(yàn)證明熱度公式能夠較好的對(duì)未來(lái)的訪問(wèn)行為進(jìn)行趨勢(shì)預(yù)測(cè)。設(shè)計(jì)了根據(jù)數(shù)據(jù)熱度進(jìn)行數(shù)據(jù)分布進(jìn)化的數(shù)據(jù)遷移機(jī)制。數(shù)據(jù)分布進(jìn)化中，需要?jiǎng)討B(tài)調(diào)整數(shù)據(jù)的分布，以適應(yīng)系統(tǒng)工作負(fù)載的變化，從而提升整體系統(tǒng)

5、的效率。
　　 在一般的設(shè)計(jì)中，根據(jù)RAID 級(jí)別或RAID組對(duì)系統(tǒng)存儲(chǔ)資源進(jìn)行分級(jí)，而在進(jìn)化存儲(chǔ)系統(tǒng)中，對(duì)系統(tǒng)內(nèi)所有存儲(chǔ)資源按照性能和可靠性等特性進(jìn)行分級(jí)。依據(jù)程序訪問(wèn)的局部性原理，針對(duì)不同行為特性和需求的熱點(diǎn)數(shù)據(jù)，匹配以相應(yīng)級(jí)別的存儲(chǔ)資源，從而有效的利用存儲(chǔ)池中的不同存儲(chǔ)資源，以顯著提高進(jìn)化存儲(chǔ)系統(tǒng)的整體效率。數(shù)據(jù)遷移策略中還對(duì)數(shù)據(jù)遷移的觸發(fā)條件和開(kāi)銷(xiāo)進(jìn)行了定義，并設(shè)計(jì)了進(jìn)化存儲(chǔ)系統(tǒng)的數(shù)據(jù)替換策略。在實(shí)驗(yàn)部分，通過(guò)原型系統(tǒng)驗(yàn)

6、證了分級(jí)存儲(chǔ)數(shù)據(jù)遷移對(duì)性能提升的效果。
　　 設(shè)計(jì)了獨(dú)立的進(jìn)化規(guī)則管理系統(tǒng)，實(shí)現(xiàn)海量存儲(chǔ)系統(tǒng)的自動(dòng)化管理。在大規(guī)模存儲(chǔ)系統(tǒng)中，無(wú)論存儲(chǔ)系統(tǒng)的物理管理和海量數(shù)據(jù)的邏輯組織和分布都是極為復(fù)雜和動(dòng)態(tài)的，僅僅依賴(lài)人工管理是不可行的，因此需要設(shè)計(jì)基于一系列存儲(chǔ)規(guī)則的系統(tǒng)來(lái)管理和調(diào)度系統(tǒng)運(yùn)行狀態(tài)。在通常的系統(tǒng)中，規(guī)則的所有參數(shù)都硬編碼在代碼中，使得規(guī)則的定義、更改和查詢(xún)非常困難。在規(guī)則管理系統(tǒng)中，通過(guò)對(duì)規(guī)則詞匯的定義，并引入決策表和決策樹(shù)的