云存儲系統(tǒng)中基于溯源關系的文件查詢與管理方法研究.pdf

1、隨著備份、歸檔、視頻等網絡服務的廣泛應用，云存儲系統(tǒng)的規(guī)模越來越大，給文件訪問的性能帶來挑戰(zhàn)。用戶在訪問文件之前需依靠文件查詢來確定待訪問的文件及其地址，因此需要提高文件查詢的性能。而現(xiàn)有的元數據查詢方法無法有效地支持文件的高性能查詢，因此需要挖掘更多的文件相關性來提高元數據查詢的性能。云存儲系統(tǒng)中，大部分的數據都處于冷數據狀態(tài)，被存儲在價格便宜、性能較差的設備上。有些應用需要保證高效的冷數據訪問性能，因此需要通過分析冷數據文件在文件訪

2、問以及文件屬性的相關性來提高文件管理的性能，建立一個高效的冷數據的分布及其元數據的索引結構。現(xiàn)在，大數據存儲及其網絡傳輸中視頻已經占了65％，這些視頻中大量的近似重復視頻帶來了巨大的傳輸和存儲開銷。針對這種特殊文件的應用和管理，需要通過挖掘這些視頻之間的關系來提高視頻的存儲空間有效性以及訪問速度。因此，挖掘文件之間的相關性對于提高云存儲系統(tǒng)中文件訪問性能具有重要作用。
　　在云存儲系統(tǒng)中，具有溯源關系的文件之間具有數據相關性，這種

3、數據相關性導致這些文件具有相同或相似的內容，因此從溯源數據中可以挖掘到具有溯源關系的文件相關性，包括很強的內容相似性、屬性相似性和讀寫特征的相似性以及較弱的內容差異性等。同時，文件的溯源數據記錄了影響這個文件最終狀態(tài)的所有進程和文件，通過對溯源數據的分析不僅在空間維度上可挖掘到更多文件的相關性，而且在時間維度上可以得到文件之間的相關性的變化，從而可提高文件相關性度量的精確度。因此，圍繞加快文件訪問的速度這一目標，本文利用文件相關特性提出

4、了三種優(yōu)化方法。
　　(1)針對云存儲系統(tǒng)規(guī)模的擴大會降低文件訪問所必需的元數據查詢操作的性能的問題，提出了一種挖掘具有溯源關系的文件之間的內容相似性的元數據查詢方法PROMES，通過在查詢流程中增加關系圖查詢減少元數據索引樹中的查詢范圍而加快了查詢速度，通過引入關系的時效性和文件的權重兩個參數提高了關系圖中文件相關性度量的準確性而增加了查詢準確率。PROMES中的元數據查詢分為三步：通過一個相關性感知的元數據索引樹來定位到一些文

5、件的元數據作為種子。絕大部分的種子滿足查詢條件，然后使用種子在根據溯源關系所生成的關系圖中查詢剩余的查詢結果，最后進行排序并精簡以得到最終的查詢結果。因為由溯源關系生成的關系圖具有文件相關性緊密、輕量索引的特點，所以PROMES具有顯著的高查詢準確率和低延遲的優(yōu)點。實驗測試表明：PROMES比現(xiàn)在最新的元數據查詢方法減小了1到2個數量級的查詢時間，并具有更高的查詢準確率。
　　(2)針對云存儲服務供應商通常在低功耗的設備上存儲冷數

6、據文件及其元數據而導致文件訪問速度受限的問題，提出了一種基于溯源關系中文件的屬性和訪問特征相似性的冷數據分布及其元數據索引機制，通過挖掘具有溯源關系的文件之間的訪問特征相似性調整文件的分布狀態(tài)減少訪問冷數據文件的等待時間并節(jié)省能源，通過挖掘具有溯源關系的文件之間的元數據相似性對文件元數據進行邏輯分組減少冷數據文件的元數據查詢的延時。這個機制包含兩個方法：基于溯源關系中文件的訪問特征相似性的冷數據重分布方法Prodi和基于溯源關系中文件的

7、屬性特征相似性的冷數據元數據索引方法P-index。通過測試表明Prodi節(jié)省了25%能源，而P-index的性能比現(xiàn)有的元數據索引結構減少了1到2個數量級的查詢時間開銷。
　　(3)針對云存儲系統(tǒng)中大量的近似重復視頻降低了用戶的體驗質量，并消耗了服務供應商的很多資源的問題，提出了一種基于溯源關系中文件的內容差異性的視頻壓縮與傳輸機制Provis，利用視頻的溯源數據能夠支持視頻重建和記錄了具有溯源關系的視頻之間內容差異的溯源數據的

8、大小遠小于視頻文件的特性，通過保存視頻的溯源數據來替代保存視頻的方法壓縮近似視頻而提高存儲系統(tǒng)的空間有效性，通過上傳視頻的溯源數據后再在云端重建視頻的方法來替代直接上傳視頻而加快了視頻上傳的速度并減少上傳的網絡開銷。通過兩個視頻數據集的測試比較了Provis與其它現(xiàn)存的視頻壓縮技術，結果顯示Provis能夠顯著節(jié)省空間并降低視頻上傳的網絡開銷，溯源圖的存儲開銷和視頻重建的時延在用戶可接受范圍內。
　　綜上所述，本文主要解決云存儲系