應用感知的重復數據刪除關鍵技術研究.pdf

1、隨著數據的爆炸式增長，我們現在正處于大數據時代。一個亟待解決的問題是盡力提高大數據
　　管理和分析的操作效率。在這種情況下，重復數據刪除技術被廣泛被應用到各種領域中，包括數據存儲系統、數據備份系統、數據容災、醫(yī)療等等，甚至向通信領域進行延伸。
　　本文對重復數據刪除系統的幾項關鍵技術進行了分析和研究，并針對重復數據刪除系統的性能優(yōu)化提出了新的系統設計和相關算法。本文的主要創(chuàng)新包括以下幾項內容：
　　（1）提出了一種基于

2、應用感知的重復數據預測機制。重復數據預測技術能夠在執(zhí)行重復數據刪除之前，讓用戶了解重復數據刪除系統的效用，為用戶需要的存儲系統空間大小提供參考。相比于現有的重復數據刪除技術，應用感知的重復數據預測技術能夠進一步減小預測索引表的大小,進一步提升了預測算法的性能。
　　（2）提出一種索引表的自適應更新算法。以往的重復數據預測算法只能夠根據固定的索引表項，預測數據集內部或數據集與存儲系統之間的數據相似率。索引表自適應更新算法根據訪問數據

3、塊的相關信息，不斷更新索引表，能夠同時考慮數據內部的冗余度和數據與存儲系統中數據的冗余度，提高了重復數據預測算法的準確性。
　?。?）對重復數據刪除系統中的磁盤索引瓶頸問題進行優(yōu)化，提出了一種基于熱點數據識別的Cache替換算法。我們通過研究發(fā)現數據中重復次數較多的數據占數據總數的較大部分，我們稱之為數據的重復性特征。利用數據的重復性特征，基于熱點數據識別的Cache替換算法能夠獲得更高的Cache命中率，減少磁盤的讀寫次數，降低