對(duì)象存儲(chǔ)控制器關(guān)鍵技術(shù)研究.pdf

1、對(duì)象存儲(chǔ)系統(tǒng)結(jié)合了附網(wǎng)存儲(chǔ)和存儲(chǔ)區(qū)域網(wǎng)的優(yōu)點(diǎn)，已成為網(wǎng)絡(luò)存儲(chǔ)領(lǐng)域研究的熱點(diǎn)。對(duì)象存儲(chǔ)系統(tǒng)由客戶端、元數(shù)據(jù)服務(wù)器、對(duì)象存儲(chǔ)設(shè)備和互連網(wǎng)絡(luò)組成，其中對(duì)象存儲(chǔ)設(shè)備是對(duì)象存儲(chǔ)系統(tǒng)的核心。在大規(guī)模的PB級(jí)對(duì)象存儲(chǔ)系統(tǒng)中，一般存在成千上萬自管理的對(duì)象存儲(chǔ)設(shè)備，單個(gè)對(duì)象存儲(chǔ)設(shè)備的性能將會(huì)對(duì)整個(gè)對(duì)象存儲(chǔ)系統(tǒng)的性能產(chǎn)生極大的影響。因此，設(shè)計(jì)一種高性能的對(duì)象存儲(chǔ)設(shè)備在對(duì)象存儲(chǔ)研究領(lǐng)域具有重大意義。
　　 對(duì)象存儲(chǔ)控制器是對(duì)象存儲(chǔ)設(shè)備的控制和管理單元

2、，它由硬件平臺(tái)和存儲(chǔ)管理軟件組成。對(duì)象存儲(chǔ)控制器的核心技術(shù)主要包括控制器硬件體系結(jié)構(gòu)、對(duì)象數(shù)據(jù)組織、對(duì)象數(shù)據(jù)預(yù)取和對(duì)象數(shù)據(jù)智能處理等四方面的關(guān)鍵問題?，F(xiàn)有對(duì)象存儲(chǔ)控制器由于對(duì)I/O應(yīng)用和對(duì)象訪問的特征考慮不足使得對(duì)象控制器在性能方面仍存在缺陷。因此，針對(duì)對(duì)象控制器四個(gè)方面的關(guān)鍵問題設(shè)計(jì)和實(shí)現(xiàn)新的體系結(jié)構(gòu)和方法對(duì)于構(gòu)建高性能的對(duì)象存儲(chǔ)控制器尤為重要。
　　 對(duì)象存儲(chǔ)控制器的硬件平臺(tái)是軟件運(yùn)行的基礎(chǔ)，它直接決定著控制器的性能。傳統(tǒng)對(duì)

3、象存儲(chǔ)控制器大多數(shù)是基于通用的PC平臺(tái)或者服務(wù)器平臺(tái)，由于它們一般面向計(jì)算并不是面向I/O，用它們?cè)O(shè)計(jì)對(duì)象存儲(chǔ)控制器存在不足，特別是I/O總線可能成為系統(tǒng)性能提高的瓶頸。針對(duì)該問題，提出了一種基于交換架構(gòu)的對(duì)象存儲(chǔ)控制器體系結(jié)構(gòu)。這種體系結(jié)構(gòu)能夠大大提高系統(tǒng)總體通信帶寬并且性能具有很好的擴(kuò)展性。在此基礎(chǔ)上，實(shí)現(xiàn)了一種基于Intel IOP315的新型專用對(duì)象存儲(chǔ)控制器。新型對(duì)象存儲(chǔ)控制器的主要組成是Intel 80314芯片和2個(gè)Int

4、el Xscale 80200的高性能低功耗CPU。Intel 80314最重要特征是被設(shè)計(jì)成為一個(gè)任意端口間均能互連的橋，它可以支持任意端口到端口之間的并行數(shù)據(jù)傳輸。性能分析表明，由于更多的磁盤可以并行地傳輸對(duì)象數(shù)據(jù)，新型對(duì)象存儲(chǔ)控制器可以有效的解決單條I/O總線下的性能瓶頸問題。
　　 在硬件平臺(tái)基礎(chǔ)上對(duì)象存儲(chǔ)控制器利用對(duì)象文件系統(tǒng)進(jìn)行對(duì)象組織和管理。許多對(duì)象文件系統(tǒng)利用傳統(tǒng)本地文件系統(tǒng)管理對(duì)象，而結(jié)合了對(duì)象訪問特點(diǎn)的專用對(duì)

5、象文件系統(tǒng)具有更好的性能。EBOFS是一種專用對(duì)象文件系統(tǒng)，它的高性能很大程度上是通過其對(duì)象分配算法在為單個(gè)對(duì)象分配磁盤空間時(shí)盡量使數(shù)據(jù)在磁盤上連續(xù)實(shí)現(xiàn)的。然而，EBOFS采用的是一種單粒度對(duì)象空間預(yù)分配方法，這使得它在交錯(cuò)為多個(gè)對(duì)象并行分配空間時(shí)并不能很好地保持對(duì)象內(nèi)數(shù)據(jù)的連續(xù)性。為了克服EBOFS的不足，提出了一種多粒度對(duì)象空間預(yù)分配方法。該方法中對(duì)象預(yù)分配粒度的選擇有兩種方式：根據(jù)用戶告知值調(diào)整和根據(jù)分配時(shí)當(dāng)前對(duì)象大小調(diào)整。對(duì)于事

6、先知道大小的用戶對(duì)象，該方法為對(duì)象建立一個(gè)預(yù)期對(duì)象大小屬性，并且用戶在創(chuàng)建對(duì)象時(shí)設(shè)置該屬性值。在對(duì)象空間分配時(shí)該方法讀取預(yù)期對(duì)象大小屬性并盡量按該值預(yù)分配整個(gè)對(duì)象大小空間。對(duì)于事先不知道大小的用戶對(duì)象，該方法將對(duì)象大小分為多個(gè)區(qū)間，對(duì)于不同對(duì)象區(qū)間的對(duì)象選擇不同的預(yù)分配值，小對(duì)象按較小粒度預(yù)分配空間，較大的對(duì)象按較大粒度預(yù)分配空間。仿真實(shí)驗(yàn)表明，該對(duì)象預(yù)分配方法可以減少磁盤已使用空間的extent數(shù)和單個(gè)對(duì)象平均包含的extent數(shù)，可

7、以提高磁盤已分配空間的連續(xù)度，從而提高對(duì)象訪問的性能。
　　 對(duì)象預(yù)取是一種有效減少對(duì)象存儲(chǔ)控制器訪問延遲的重要方法。隨著I/O速度與CPU速度差距的擴(kuò)大，在對(duì)象存儲(chǔ)控制器上進(jìn)行對(duì)象預(yù)取變得越來越重要。然而，現(xiàn)有的預(yù)取方法集中于對(duì)象內(nèi)的預(yù)取，這限制了對(duì)象存儲(chǔ)控制器在多個(gè)對(duì)象間進(jìn)行預(yù)取的能力。針對(duì)該問題，提出了一種利用對(duì)象間關(guān)系進(jìn)行預(yù)取的方法。該方法使用一種稱為序列模式挖掘的數(shù)據(jù)庫(kù)技術(shù)獲得對(duì)象訪問序列中的序列規(guī)則并構(gòu)造序列規(guī)則表。

8、當(dāng)請(qǐng)求的對(duì)象不在cache中時(shí)，該方法結(jié)合當(dāng)前對(duì)象訪問上下文在序列規(guī)則表中查找與當(dāng)前對(duì)象相關(guān)的對(duì)象，并將不在cache中的相關(guān)對(duì)象預(yù)取到cache中來。實(shí)驗(yàn)結(jié)果表明，與基于分組的預(yù)取方法相比，該對(duì)象預(yù)取方法可以提高對(duì)象預(yù)測(cè)精確度和對(duì)象cache命中率。
　　 主動(dòng)存儲(chǔ)技術(shù)具有很多優(yōu)勢(shì)，可以減少網(wǎng)絡(luò)通信量和降低應(yīng)用程序的執(zhí)行時(shí)間。然而，目前主動(dòng)存儲(chǔ)的優(yōu)勢(shì)在對(duì)象存儲(chǔ)系統(tǒng)中不能得到充分體現(xiàn)。為此，提出了一種靈活的基于對(duì)象的主動(dòng)存儲(chǔ)設(shè)計(jì)

9、。在該設(shè)計(jì)中對(duì)象存儲(chǔ)控制器可以利用自己的處理能力參加到用戶自定義任務(wù)或系統(tǒng)任務(wù)對(duì)數(shù)據(jù)的處理中來。用戶自定義任務(wù)由客戶端下載到對(duì)象存儲(chǔ)控制器中，系統(tǒng)任務(wù)由對(duì)象存儲(chǔ)控制器本身固有。此外，任務(wù)對(duì)用戶數(shù)據(jù)處理時(shí)具有靈活的處理方式。一方面任務(wù)可以處理單個(gè)對(duì)象或多個(gè)對(duì)象，可以處理對(duì)象的一部分?jǐn)?shù)據(jù)或全部數(shù)據(jù)；另一方面任務(wù)支持多種數(shù)據(jù)輸入輸出模式，即被任務(wù)處理的數(shù)據(jù)可以來自客戶端或磁盤并且處理后的數(shù)據(jù)可以發(fā)送到客戶端或磁盤。與此同時(shí)，對(duì)現(xiàn)有對(duì)象存儲(chǔ)設(shè)備