基于Chunk Folding的多租戶云數(shù)據(jù)存儲(chǔ)緩存管理機(jī)制.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,以及外包計(jì)算和存儲(chǔ)的大量涌現(xiàn),一種新的計(jì)算模式——云計(jì)算,正在逐漸興起。所謂云計(jì)算,是指通過網(wǎng)絡(luò)方便按需地訪問可配置的共享計(jì)算資源,如網(wǎng)絡(luò)、存儲(chǔ)、內(nèi)存、應(yīng)用等,其計(jì)算資源的供給和釋放不需要或只需很少的人工參與。就目前而言,SaaS(Software as a Service)是公認(rèn)的云計(jì)算的最好的實(shí)現(xiàn)形式。
　　在SaaS模式下,服務(wù)提供商需要存儲(chǔ)成千上萬租戶的數(shù)據(jù),而單獨(dú)為每一個(gè)租戶分配一個(gè)數(shù)據(jù)庫實(shí)例需要大量

2、的資源,而事實(shí)上任一數(shù)據(jù)庫實(shí)例在大多數(shù)情況下的使用率是極低的,這就導(dǎo)致了大量的資源浪費(fèi)。針對(duì)此問題,共享數(shù)據(jù)庫共享存儲(chǔ)模式被提出來用以解決具有相似存儲(chǔ)模式的數(shù)據(jù)庫實(shí)例的資源浪費(fèi),如Universal Table,Pivot Table,Chunk Folding等,而為了減少那些不具備相似存儲(chǔ)模式的數(shù)據(jù)庫實(shí)例的資源浪費(fèi),數(shù)據(jù)庫合并(Database Consolidation)被提出來用于進(jìn)一步減少數(shù)據(jù)庫實(shí)例的數(shù)量,從而獲取規(guī)模經(jīng)濟(jì)效益

3、。共享存儲(chǔ)模式和數(shù)據(jù)庫合并可以極大程度的減少數(shù)據(jù)庫實(shí)例的數(shù)量,從而降低資源浪費(fèi),但是基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫的緩存管理機(jī)制存在著以下不足或挑戰(zhàn):
　　(1)數(shù)據(jù)塊緩存替換單元的局限性。傳統(tǒng)數(shù)據(jù)庫緩存機(jī)制以數(shù)據(jù)塊作為緩存單元,而多租戶共享存儲(chǔ)架構(gòu)下,任一數(shù)據(jù)塊均包含了大量其他租戶的無關(guān)數(shù)據(jù),采用數(shù)據(jù)塊作為緩存單元導(dǎo)致大量緩存資源的浪費(fèi)。
　　(2)租戶間緩存資源分配的盲目性。傳統(tǒng)數(shù)據(jù)庫緩存機(jī)制缺乏多租戶的概念,對(duì)于來自

4、租戶的請(qǐng)求,傳統(tǒng)緩存機(jī)制會(huì)從提高數(shù)據(jù)庫整體性能的角度進(jìn)行緩存管理,這就會(huì)導(dǎo)致租戶間資源分配的極為不合理,如高頻訪問租戶搶占低頻訪問租戶的資源,使得低頻訪問租戶的SLA響應(yīng)時(shí)間需求得不到保障,這與云計(jì)算環(huán)境下的彈性以及按需分配特性相違背。
　　(3)云緩存資源分配缺乏有效的分配機(jī)制。云計(jì)算環(huán)境下,為獲取良好的伸縮性以及達(dá)到負(fù)載均衡,租戶數(shù)據(jù)被劃分到多個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行存儲(chǔ),如何確定各節(jié)點(diǎn)緩存內(nèi)容使得:(a)租戶的SLA響應(yīng)時(shí)間得到滿足,

5、(b)云緩存效益(I/O減少次數(shù))盡可能高,云緩存資源消耗盡可能少,(c)各子節(jié)點(diǎn)的I/O負(fù)載均衡。
　　本文針對(duì)云計(jì)算環(huán)境下多租戶數(shù)據(jù)庫緩存管理機(jī)制的上述問題和挑戰(zhàn),結(jié)合Chunk Folding共享存儲(chǔ)模式的特性,從緩存替換單元,多租戶特性及云緩存資源協(xié)調(diào)分配等幾方面著手,提出了適應(yīng)負(fù)載的動(dòng)態(tài)緩存單元生成機(jī)制,緩存單元I/O估價(jià)模型,多租戶云緩存資源分配機(jī)制。本文的主要工作及成果包括:
　　(1)提出了基于Chunk F

6、olding的動(dòng)態(tài)緩存替換單元的生成機(jī)制。該機(jī)制以租戶的請(qǐng)求負(fù)載和租戶后臺(tái)Chunk Folding共享存儲(chǔ)架構(gòu)的物理存儲(chǔ)模式作為輸入,輸出一系列列(集)緩存替換單元,將該緩存替換單元取代傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)塊緩存替換單元可以大幅度降低緩存消耗,提升緩存利用率。
　　(2)給出緩存單元的I/O效益估價(jià)模型。該模型結(jié)合數(shù)據(jù)庫(MySQL)查詢優(yōu)化器的執(zhí)行計(jì)劃以及Chunk Folding的特性,得出每一緩存替換單元的I/O效益,并用此效

7、益值與緩存替換單元所占緩存空間的比值作為該緩存替換單元的I/O效益率(半命中率),此外為實(shí)現(xiàn)云數(shù)據(jù)節(jié)點(diǎn)I/O負(fù)載均衡,結(jié)合當(dāng)前節(jié)點(diǎn)的I/O負(fù)載狀況,對(duì)每一緩存替換單元的I/O效益率進(jìn)行加權(quán)修正,并將其作為衡量是否緩存該替換單元的標(biāo)準(zhǔn),取代傳統(tǒng)的命中率作為緩存與否衡量標(biāo)準(zhǔn),使得緩存整體效益得到提升。
　　(3)給出兩種緩存分配策略,租戶級(jí)和系統(tǒng)級(jí)緩存分配策略。采用貪婪算法迭代選擇緩存單元進(jìn)駐內(nèi)存,并對(duì)相關(guān)緩存單元的效益指標(biāo)進(jìn)行修正。

8、通過租戶級(jí)緩存分配策略實(shí)現(xiàn)租戶緩存分配的在線動(dòng)態(tài)調(diào)整,通過系統(tǒng)級(jí)緩存分配策略實(shí)現(xiàn)系統(tǒng)緩存松弛操作從而降低系統(tǒng)整體緩存消耗。
　　針對(duì)基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫在緩存管理機(jī)制存在的不足和新挑戰(zhàn),本文給出了相應(yīng)的解決機(jī)制—多租戶云數(shù)據(jù)存儲(chǔ)緩存管理機(jī)制(Multi-tenant Memory Management for Cloud data storage,M3C),該機(jī)制依據(jù)租戶SLA目標(biāo)按需為多租戶分配緩存,降低云緩存資源消