虛擬機鏡像文件去重技術研究.pdf

1、虛擬機技術和虛擬計算環(huán)境是計算機科學近年來最矚目的成就之一，虛擬機鏡像文件作為其存儲與傳輸的載體，將內容用某一種特定的文件格式進行存儲，為云計算帶來了極高的便捷性。但隨著用戶創(chuàng)建“一次性”虛擬機數量的增加，云平臺中虛擬機鏡像文件數量也隨之驟增，產生的冗余數據為云計算供應商帶來了巨大挑戰(zhàn)，因此對虛擬機鏡像文件進行重復數據刪除十分必要。
　　既有文獻在對相同虛擬機鏡像文件的去重研究中，在去重粒度的選擇與劃分上存在一定的不足，即利用Ha

2、sh在文件級層面進行數據去重，而忽略了虛擬機鏡像文件之間的相似性，因此對于相似的虛擬機鏡像文件的研究還屬空白。為了解決這一問題本文提出、設計并實現(xiàn)基于SimHash的不同粒度分級去重方案，解決了相似虛擬機鏡像文件去重問題，達到了提高存儲空間利用率，節(jié)省網絡帶寬的目的。
　　論文的主要內容如下:
　　(1)對虛擬機鏡像文件以及鏡像文件格式和虛擬機鏡像文件的相似性做了詳細的分析，分析結果表明虛擬機鏡像文件的格式與數據冗余有密切的

3、聯(lián)系，同一格式的鏡像文件之間存在超過60％的相似數據，證明研究相同鏡像文件以及相似鏡像文件重復數據刪除的必要性。
　　(2)設計并實現(xiàn)了一種基于SimHash算法的虛擬機鏡像文件分級重復數據刪除方案。該方案利用固定尺寸的分塊技術將鏡像文件分割成若干數據塊，使用改進后的SimHash函數計算其SimHash值并作為唯一標識，預傳SimHashID來減少網絡傳輸開銷，對文件進行相似性對比實現(xiàn)分級去重，第一級以文件為對象，第二級以數據塊