內(nèi)容尋址儲(chǔ)存系統(tǒng)的實(shí)現(xiàn)基于內(nèi)容尋址的儲(chǔ)存系統(tǒng)研究.pdf

1、有研究[1]表明，全球數(shù)據(jù)存儲(chǔ)量每18個(gè)月將在原有的基礎(chǔ)上增加1倍。同時(shí)，IDC[2]指出75％的增長(zhǎng)來(lái)自固定內(nèi)容數(shù)據(jù)。所謂固定內(nèi)容數(shù)據(jù)是創(chuàng)建之后不再改變的數(shù)據(jù)，如辦公office文檔、E-mail、電視新聞、醫(yī)療圖片等。固定內(nèi)容是非結(jié)構(gòu)化的數(shù)據(jù)，占據(jù)著企業(yè)總數(shù)據(jù)量的85％[3]。企業(yè)的固定內(nèi)容數(shù)量隨時(shí)間增長(zhǎng)到數(shù)以萬(wàn)計(jì)，在傳統(tǒng)的文件系統(tǒng)存儲(chǔ)中要找到需要的內(nèi)容非常困難，而且其中部分內(nèi)容甚至無(wú)法理解[4]。因此，企業(yè)面臨著存儲(chǔ)和管理這些數(shù)據(jù)

2、的巨大挑戰(zhàn)。 近年來(lái)，數(shù)據(jù)存儲(chǔ)技術(shù)尤其是網(wǎng)絡(luò)存儲(chǔ)技術(shù)得到了迅速的發(fā)展。以數(shù)據(jù)塊為接口的存儲(chǔ)技術(shù)，如DAS、SAN，在數(shù)據(jù)存儲(chǔ)時(shí)能夠直接訪問(wèn)存儲(chǔ)設(shè)備，存儲(chǔ)效率極高。而以文件為接口的存儲(chǔ)技術(shù)，如’NAS，對(duì)文件共享和利用提供了有效機(jī)制。但是，無(wú)論是直連存儲(chǔ)(DAS)、附網(wǎng)存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)，還是新的基于IP的SAN、SAN與NAS結(jié)合的統(tǒng)一存儲(chǔ)[5]，都不適合于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。對(duì)象存儲(chǔ)[6]提出了一種新的存儲(chǔ)

3、接口——對(duì)象接口。對(duì)象存儲(chǔ)體系結(jié)構(gòu)同時(shí)具有塊接口和文件接口存儲(chǔ)系統(tǒng)兩者的優(yōu)點(diǎn)，對(duì)數(shù)據(jù)的存儲(chǔ)，它能讓數(shù)據(jù)以數(shù)據(jù)塊的方式直接訪問(wèn)存儲(chǔ)硬件介質(zhì)，具有很高的存儲(chǔ)效率，同時(shí)對(duì)于數(shù)據(jù)的管理，通過(guò)封裝在對(duì)象里的其他屬性讓數(shù)據(jù)像文件一樣在不同的平臺(tái)之間共享和管理。在對(duì)象存儲(chǔ)中，內(nèi)容尋址存儲(chǔ)(Content Addressed Storage)是一種已成功應(yīng)用于固定內(nèi)容存儲(chǔ)的范例。CAS提供了一種全新的高效的信息管理手段，可以極大地降低應(yīng)用軟件操縱和管理

4、存儲(chǔ)介質(zhì)上所存儲(chǔ)信息的物理地址的難度，這對(duì)于固定內(nèi)容的存儲(chǔ)具有不可替代的優(yōu)勢(shì)。目前CAS已經(jīng)成為內(nèi)容管理和存儲(chǔ)研究中的一個(gè)焦點(diǎn)[7,8,9,10]。 本文對(duì)CAS技術(shù)進(jìn)行了詳細(xì)的分析，分析了內(nèi)容尋址存儲(chǔ)的思想，實(shí)現(xiàn)了一種針對(duì)固定內(nèi)容存儲(chǔ)的原型系統(tǒng)(FCSS)。FCSS提供了基于對(duì)象內(nèi)容的存儲(chǔ)高速索引、磁盤(pán)空間分配方案和快速存取接口：基于紅黑樹(shù)實(shí)現(xiàn)內(nèi)容(Hash)與數(shù)據(jù)(文件)物理位置映射功能，磁盤(pán)分配模塊實(shí)現(xiàn)對(duì)象存儲(chǔ)空間，API