對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)數(shù)據(jù)的研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，用戶(hù)對(duì)數(shù)據(jù)需求的不斷增加，這給網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展帶來(lái)了機(jī)遇，同時(shí)也使分布式存儲(chǔ)系統(tǒng)面臨越來(lái)越多的挑戰(zhàn)。在眾多的挑戰(zhàn)中，如何提高存儲(chǔ)系統(tǒng)I/O性能和如何管理大規(guī)模復(fù)雜存儲(chǔ)系統(tǒng)是擺在很多公司企業(yè)和科研機(jī)構(gòu)面前的兩大難題。一方面，代表用戶(hù)需求的熱點(diǎn)數(shù)據(jù)，是解決存儲(chǔ)系統(tǒng)I/O性能難題的鑰匙，但是，當(dāng)前熱點(diǎn)數(shù)據(jù)在存儲(chǔ)系統(tǒng)中并沒(méi)有得到最大限度地利用，也沒(méi)有全面而系統(tǒng)地分析，導(dǎo)致整個(gè)存儲(chǔ)系統(tǒng)的性能并沒(méi)有得到最大程度地提升。另

2、一方面，隨著存儲(chǔ)系統(tǒng)的日益復(fù)雜，傳統(tǒng)的人工管理方式已經(jīng)不適應(yīng)現(xiàn)代存儲(chǔ)技術(shù)的要求，如何把用戶(hù)的需求傳達(dá)給存儲(chǔ)系統(tǒng)，讓大規(guī)模存儲(chǔ)系統(tǒng)自適應(yīng)管理也成為一個(gè)重要的課題。
　　 對(duì)象存儲(chǔ)和屬性管理技術(shù)的出現(xiàn)讓上述兩個(gè)難題有了解決的可能。在對(duì)象存儲(chǔ)系統(tǒng)中，對(duì)象代替?zhèn)鹘y(tǒng)意義的文件，擁有更豐富的語(yǔ)義內(nèi)容，能夠傳遞更多熱點(diǎn)數(shù)據(jù)的相關(guān)信息；結(jié)合屬性管理技術(shù)，分析用戶(hù)的需求和數(shù)據(jù)訪(fǎng)問(wèn)特征，提煉出與熱點(diǎn)數(shù)據(jù)相關(guān)的屬性，可以實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行自適應(yīng)管理并

3、提高系統(tǒng)的性能。為此，本文首先提出了基于熱點(diǎn)數(shù)據(jù)系統(tǒng)級(jí)的解決方案――對(duì)實(shí)際應(yīng)用的熱點(diǎn)現(xiàn)象進(jìn)行分析，然后根據(jù)實(shí)際應(yīng)用中的熱點(diǎn)數(shù)據(jù)訪(fǎng)問(wèn)特征，率先提出了對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)的定義和分類(lèi)，結(jié)合T10OSD-3標(biāo)準(zhǔn)建立熱點(diǎn)屬性頁(yè)，并針對(duì)不同應(yīng)用和負(fù)載給出了基于熱點(diǎn)的動(dòng)態(tài)數(shù)據(jù)組織策略和服務(wù)質(zhì)量保證。
　　 其次，針對(duì)存儲(chǔ)系統(tǒng)中熱點(diǎn)預(yù)測(cè)及單級(jí)Cache中存在的問(wèn)題，結(jié)合熱點(diǎn)數(shù)據(jù)的訪(fǎng)問(wèn)特征和類(lèi)Zipf定律，給出了一個(gè)全新的熱點(diǎn)預(yù)測(cè)方法――對(duì)象熱點(diǎn)

4、預(yù)測(cè)模型OHPM。并根據(jù)階段性熱點(diǎn)的特點(diǎn)，加入了訪(fǎng)問(wèn)頻率增長(zhǎng)率來(lái)預(yù)測(cè)階段性熱點(diǎn)以作為其補(bǔ)充。根據(jù)兩種熱點(diǎn)對(duì)象截然不同的數(shù)據(jù)訪(fǎng)問(wèn)特征，給出了基于熱點(diǎn)的單級(jí)Cache策略――采用雙Cache棧的方式并實(shí)現(xiàn)自適應(yīng)管理。并對(duì)熱點(diǎn)命中率和時(shí)間粒度的參數(shù)問(wèn)題進(jìn)行了討論。
　　 再次，由于對(duì)象存儲(chǔ)系統(tǒng)中啟動(dòng)器和目標(biāo)器已然構(gòu)成多級(jí)Cache系統(tǒng)，針對(duì)當(dāng)前多級(jí)Cache數(shù)據(jù)隱示中存在的普遍問(wèn)題，提出了一個(gè)創(chuàng)新性的解決方案――基于K步數(shù)據(jù)隱示的多級(jí)

5、Cache算法（Hint-K）。Hint-K算法充分運(yùn)用了升級(jí)隱示和降級(jí)隱示的歷史信息，并可利用K步數(shù)據(jù)隱示值來(lái)簡(jiǎn)單判斷一個(gè)數(shù)據(jù)塊的活躍程度。并給出K在不同情況下Hint-K算法的實(shí)例分析。最后設(shè)計(jì)并實(shí)現(xiàn)了原型系統(tǒng)――熱點(diǎn)屬性管理的存儲(chǔ)系統(tǒng)HASS，通過(guò)實(shí)施基于熱點(diǎn)的動(dòng)態(tài)數(shù)據(jù)組織和服務(wù)質(zhì)量保證（HO）、對(duì)象熱點(diǎn)預(yù)測(cè)（HP）和單級(jí)Cache策略（HC），系統(tǒng)的性能提高了62％并降低了25％的I/O操作。在不同負(fù)載下的多級(jí)Cache仿真測(cè)試