異構(gòu)存儲(chǔ)系統(tǒng)中的緩存技術(shù)研究.pdf

1、數(shù)據(jù)的爆炸式增長(zhǎng)使得當(dāng)前的存儲(chǔ)系統(tǒng)規(guī)模越來越龐大。而云計(jì)算、云存儲(chǔ)和大數(shù)據(jù)等新技術(shù)不斷的出現(xiàn)，也對(duì)存儲(chǔ)系統(tǒng)的容量、性能等方面提出了更高的要求。當(dāng)前數(shù)據(jù)中心廣泛使用異構(gòu)存儲(chǔ)設(shè)備構(gòu)建大規(guī)模存儲(chǔ)系統(tǒng)，以滿足存儲(chǔ)容量和性能需求的不斷增加。如何構(gòu)建大規(guī)模異構(gòu)存儲(chǔ)系統(tǒng)面臨諸多問題，其中一個(gè)典型問題是由于設(shè)備負(fù)載和服務(wù)能力不匹配，使得存儲(chǔ)系統(tǒng)中廣泛使用的條帶等并行訪問技術(shù)難以充分發(fā)揮作用，導(dǎo)致性能降低。同時(shí)，隨著云存儲(chǔ)等技術(shù)的發(fā)展，不同應(yīng)用共享異構(gòu)存

2、儲(chǔ)系統(tǒng)越來越普遍，如何為這些應(yīng)用提供服務(wù)質(zhì)量保證或者服務(wù)公平性非常重要，而存儲(chǔ)系統(tǒng)異構(gòu)性更是對(duì)解決這一問題提出了更高的挑戰(zhàn)。通過研究異構(gòu)存儲(chǔ)系統(tǒng)中的緩存算法，解決異構(gòu)存儲(chǔ)系統(tǒng)中的性能優(yōu)化和服務(wù)質(zhì)量保證等問題，主要內(nèi)容包括以下幾個(gè)方面。
　　針對(duì)異構(gòu)存儲(chǔ)系統(tǒng)的設(shè)備負(fù)載和服務(wù)能力不匹配所導(dǎo)致的性能降低問題，提出了一種基于負(fù)載特征識(shí)別和訪問性能預(yù)測(cè)的緩存算法（Caper）。Caper算法的主要思想是通過優(yōu)化緩存調(diào)度來平衡I/O請(qǐng)求在異構(gòu)

3、存儲(chǔ)設(shè)備上的性能差異，減少甚至消除性能最差的存儲(chǔ)設(shè)備在異構(gòu)存儲(chǔ)系統(tǒng)中性能瓶頸問題。Caper算法采用緩存分區(qū)策略，為了合理設(shè)置緩存分區(qū)的大小，Caper算法用CART模型預(yù)測(cè)I/O請(qǐng)求在存儲(chǔ)設(shè)備上的性能，并結(jié)合性能預(yù)測(cè)結(jié)果分析不同訪問特征負(fù)載的緩存需求。此外，Caper算法還改進(jìn)時(shí)鐘緩存替換算法以進(jìn)一步提高緩存效益。實(shí)驗(yàn)結(jié)果表明，和Clock算法、Forney算法以及Chakraborty算法相比，Caper算法在不同類型的負(fù)載訪問下均

4、能夠獲得比較明顯的性能提升。
　　為應(yīng)用提供服務(wù)質(zhì)量保證一直都是共享存儲(chǔ)系統(tǒng)中的重要研究?jī)?nèi)容。然而，當(dāng)不同應(yīng)用共享緩存時(shí)，不同I/O請(qǐng)求到達(dá)率的應(yīng)用之間相互影響程度不一樣。在傳統(tǒng)緩存算法（如LRU算法）中，和I/O請(qǐng)求到達(dá)率較高的應(yīng)用相比，I/O請(qǐng)求到達(dá)率較低的應(yīng)用獲得的緩存資源比較少，從而造成I/O請(qǐng)求到達(dá)率較低的應(yīng)用的服務(wù)質(zhì)量難以保證。針對(duì)不同I/O請(qǐng)求到達(dá)率的應(yīng)用共享緩存時(shí)存在的上述問題，提出了一種服務(wù)質(zhì)量保證的緩存算法（Q

5、aca）。Qaca算法采用開始時(shí)間公平隊(duì)列控制I/O請(qǐng)求的服務(wù)順序，并采用基于反饋結(jié)構(gòu)的緩存管理策略動(dòng)態(tài)調(diào)整應(yīng)用之間的緩存分配。算法周期性地跟蹤應(yīng)用的服務(wù)質(zhì)量保證程度，計(jì)算已滿足服務(wù)質(zhì)量保證的應(yīng)用的富余緩存，然后將這些富余緩存分配給未達(dá)到服務(wù)質(zhì)量保證的應(yīng)用，以保證更多應(yīng)用的服務(wù)質(zhì)量。在執(zhí)行緩存分配時(shí)，Qaca算法根據(jù)富余緩存是否充足采用性能優(yōu)先或者服務(wù)質(zhì)量?jī)?yōu)先的緩存分配策略。實(shí)驗(yàn)結(jié)果表明，和LRU算法和Static算法相比，Qaca算法

6、能夠以較小的性能犧牲獲得較大程度的服務(wù)質(zhì)量保證，甚至有可能同時(shí)獲得少量的性能提升。
　　在不同I/O請(qǐng)求到達(dá)率的應(yīng)用共享緩存時(shí)，傳統(tǒng)的預(yù)取算法存在較多的預(yù)取浪費(fèi)和預(yù)取緩存污染，從而導(dǎo)致性能降低。特別是I/O請(qǐng)求到達(dá)率較低的應(yīng)用，其預(yù)取緩存命中率的降低程度要遠(yuǎn)遠(yuǎn)高于I/O請(qǐng)求到達(dá)率較高的應(yīng)用，從而使得性能降低呈現(xiàn)不公平性。針對(duì)不同應(yīng)用在共享預(yù)取緩存中存在的上述問題，本文提出了一種優(yōu)化性能和兼顧公平性的預(yù)取算法Fepa。為了減少因應(yīng)用

7、的I/O請(qǐng)求到達(dá)率差異造成的預(yù)取浪費(fèi)和預(yù)取緩存污染，提出了一種基于I/O請(qǐng)求到達(dá)率的預(yù)取長(zhǎng)度動(dòng)態(tài)調(diào)整策略，提高緩存效益和整體性能。此外，F(xiàn)epa算法分別為每個(gè)應(yīng)用計(jì)算最小緩存需求，以避免一個(gè)應(yīng)用發(fā)生預(yù)取緩存缺失，同時(shí)還能夠讓其它應(yīng)用分配到更多的緩存，從而提高緩存分配公平性。并以最小緩存需求計(jì)算為基礎(chǔ)，提出一種基于輪詢方法的緩存分配策略，在公平性和整體性能之間取得較好的平衡。實(shí)驗(yàn)表明，和LRU算法、Linux內(nèi)核自帶的預(yù)取算法以及AMP預(yù)