集群多媒體存儲系統(tǒng)的數(shù)據(jù)組織研究.pdf

1、隨著網絡上多媒體數(shù)據(jù)的爆炸性增長，大量的多媒體數(shù)據(jù)在世界各地產生并共享，導致對海量可擴展存儲系統(tǒng)的需求快速增長。在分布式網絡共享環(huán)境，大量的分布式客戶端同時訪問服務器，對服務器的性能要求更高。本文針對多媒體的特點和需求，采用自治式服務器集群結構設計一種集群多媒體存儲系統(tǒng)CMSS(ClusterMultimedia Storage System)，并著重研究CMSS系統(tǒng)的數(shù)據(jù)組織技術，包括元數(shù)據(jù)組織、數(shù)據(jù)組織及遷移和多媒體Cache 算法

2、等。CMSS系統(tǒng)設計了一種TLMS(Two-level Metadata Server)元數(shù)據(jù)組織結構。TLMS通過分離存儲數(shù)據(jù)的邏輯視圖與物理視圖，來實現(xiàn)兩級元數(shù)據(jù)組織結構。其中邏輯視圖由全局元數(shù)據(jù)服務器GMS(Global Metadata Server)來管理，物理視圖由各個存儲服務器上的本地元數(shù)據(jù)服務器LMS(Local Metadata Server)來管理。采用GMS雙機熱備技術，既實現(xiàn)了單一命名空間，又避免了單點失效；利用

3、全局元數(shù)據(jù)Cache技術，縮短了請求的處理路徑，減輕了GMS的負載，從而提高了系統(tǒng)的性能；采用LMS 技術，每個存儲服務器能夠自主的管理自己的存儲資源和元數(shù)據(jù)及數(shù)據(jù)本身，并且能夠獨立提供存儲服務；另外，CMSS的兩級元數(shù)據(jù)組織技術避免了傳統(tǒng)集中式元數(shù)據(jù)服務器的性能瓶頸，也解決了分布式元數(shù)據(jù)組織的元數(shù)據(jù)一致性和同步開為了實現(xiàn)高性能、高擴展性，通過對傳統(tǒng)分布式和并行數(shù)據(jù)組織的分析，設計了一種AutoData數(shù)據(jù)組織結構。AutoData 采

4、用多級數(shù)據(jù)組織結構，既具有分布式和并行數(shù)據(jù)組織的優(yōu)點，又能克服兩者缺點。AutoData將整個系統(tǒng)的存儲空間分為三層：內存并行存儲池、磁盤并行存儲池和分布式存儲池。所有存儲服務器內存的一部分組成一個內存并行存儲池；所有存儲服務器磁盤的一小部分組成一個磁盤并行存儲池；所有存儲服務器的剩余磁盤存儲空間組成一個分布式存儲池。內存并行存儲池性能最好，但是其容量最小；磁盤并行存儲池性能次之，但是其容量要相對大一些；分布式存儲池性能最低，但是其容量

5、最大。通過分析，在多個客戶端同時訪問服務器的情況下，雖然每個客戶端訪問的地址可能是順序的，但是從存儲服務器磁盤調度看來，這些多個客戶端的訪問地址是隨機的。為了減少對磁盤的隨機訪問次數(shù)，設計了一種CBP(Client-Based Prefetching)預取算法，CBP算法采用基于客戶端的策略，為每個客戶端設置一定的預取緩存，并采用大的預取數(shù)據(jù)塊，減少對磁盤的訪問次數(shù)，提高了系統(tǒng)的性能。在Cache替換算法中，基于多媒體請求訪問地址可預測

6、的特點，設計了一種FOPT(Forecast OPT)替換算法，F(xiàn)OPT算法根據(jù)多媒體訪問的地址連續(xù)性，來預測將來訪問的地址順序，從而實現(xiàn)基于預測的OPT算法。在千兆以太網絡環(huán)境下對CMSS系統(tǒng)進行了相應的試驗測試和性能分析。在單個服務器的情況下，分別測試了CMSS和NFS的性能?？偟膩碚f，隨機讀情況下，CMSS 服務器性能略低于NFS服務器，但是順序讀情況下，CMSS服務器性能要比NFS 高20[％]左右。在多個服務器的并行測試環(huán)境，

7、分別測試了CMSS、Lustre和PVFS的性能。測試結果顯示，隨機讀情況下，CMSS服務器性能要高于Lustre，但是低于PVFS 服務器，而在順序讀情況下，CMSS服務器性能要比Lustre和PVFS 高30-40[％]。充分說明了CMSS系統(tǒng)針對多媒體應用順序讀優(yōu)化的有效性。仿真不同的客戶端的情況下，對FOPT和LRU算法命中率進行了測試，從結果看，當請求小于64KB時，F(xiàn)OPT和LRU算法的命中率都很高。這個主要是因為服務器Ca