可擴展的元數(shù)據(jù)管理及對象標(biāo)識符研究.pdf

1、隨著存儲體系規(guī)模的增大以及數(shù)據(jù)訪問密集度的增加,集中式元數(shù)據(jù)管理已經(jīng)漸漸不能勝任?，F(xiàn)今的高性能計算不僅對存儲系統(tǒng)的I/O帶寬和元數(shù)據(jù)處理性能提出了很高的需求,而且對存儲系統(tǒng)的規(guī)模和擴展性也有很高的需求。單一的元數(shù)據(jù)服務(wù)器已經(jīng)不能滿足應(yīng)用對規(guī)模和性能日益增長的需求。采用元數(shù)據(jù)服務(wù)器(MDS)集群是海量存儲系統(tǒng)發(fā)展的必然趨勢。
　　在PB級分布式存儲系統(tǒng)中,元數(shù)據(jù)雖然很小,但元數(shù)據(jù)操作占存儲系統(tǒng)操作的50％到80%。因此,MDS集群如

2、何高效管理元數(shù)據(jù)對整個系統(tǒng)的性能和擴展性起到關(guān)鍵作用。提出了一種基于動態(tài)區(qū)間可擴展的元數(shù)據(jù)管理策略(Directory Object ID Hashing, DOIDH),它結(jié)合了子樹分割和哈希方法的優(yōu)點,可以將同一目錄下不同子目錄中的文件分布到多個MDS中,并部分保留了同一目錄下的存儲局部性。它采用文件父目錄對象標(biāo)識符進行哈希,并通過元數(shù)據(jù)查找表中映射關(guān)系分布元數(shù)據(jù),當(dāng)增減元數(shù)據(jù)服務(wù)器節(jié)點時通過相應(yīng)的元數(shù)據(jù)遷移算法遷移最少的元數(shù)據(jù),使

3、得MDS集群中元數(shù)據(jù)負載分布重新達到均衡。通過測試表明其具有元數(shù)據(jù)分布均衡,降低系統(tǒng)響應(yīng)時間,減少了元數(shù)據(jù)服務(wù)器之間元數(shù)據(jù)遷移及易擴展等特性。
　　在分布式對象存儲系統(tǒng)中,利用對象標(biāo)識符的全局唯一性、不變性等特點可以使維護對象之間的關(guān)系變得更加容易,便于對目錄對象和文件對象的查詢和定位。研究了對象標(biāo)識符分配的若干種方法和回收策略,并對各種分配方法優(yōu)缺點進行分析,進行優(yōu)化改進?？筛鶕?jù)實際應(yīng)用需要選擇合適的對象標(biāo)識生成策略,靈活方便對