數(shù)據(jù)中心環(huán)境下基于相似文件協(xié)同的鏡像分發(fā)技術(shù).pdf

1、相似文件的Top-k查詢屬于最近鄰查找問題，是指查找用戶所指定文件的最相似的k個文件，其中必須要使用文件的相似度計算技術(shù)。文件相似度作為一種基礎(chǔ)性計算用于比較文件之間相似性程度，在網(wǎng)頁查重、文章抄襲、搜索引擎等諸多方面具有廣泛的應(yīng)用。傳統(tǒng)的線性查找方法簡單易操作，但計算復(fù)雜度太高，而LSH函數(shù)方法雖然有效降低了計算復(fù)雜度，但查詢的精度不高。針對上述問題，本文提出了基于Bloom filter的Top-k相似文件查詢算法，并在Spark平

2、臺上實現(xiàn)了算法的并行化。經(jīng)實驗驗證，基于Bloom filter的Top-k相似文件查詢算法不僅有精確的查準(zhǔn)率，而且在空間和時間效率有明顯的優(yōu)勢。
　　虛擬機鏡像分發(fā)技術(shù)一直是云計算研究的一個重要問題，研究云環(huán)境下虛擬機鏡像的快速分發(fā)對于加速部署用戶所需應(yīng)用和提高云服務(wù)的質(zhì)量意義重大。采用基于P2P的鏡像分發(fā)技術(shù)是現(xiàn)有流行且有效的鏡像分發(fā)方法，但其忽略了鏡像存儲的相似性，無法挖掘網(wǎng)絡(luò)中冗余數(shù)據(jù)分塊資源，導(dǎo)致較低的網(wǎng)絡(luò)帶寬利用率。本

3、文以BitTorrent為基礎(chǔ)提出一種基于相似文件協(xié)作的P2P鏡像分發(fā)協(xié)議，并將基于Bloom filter的Top-k相似文件的并行查詢方法應(yīng)用到新協(xié)議的相似文件查詢模塊來提升查詢效率和準(zhǔn)確率。新的協(xié)議打通了不同下載群體間的傳輸通道，Peer不僅與下載相同鏡像的其他Peers交換數(shù)據(jù)，還能從相似鏡像的Seed獲得所需的數(shù)據(jù)塊，實現(xiàn)了虛擬機鏡像的跨鏡像分發(fā)。實驗結(jié)果顯示，新協(xié)議分發(fā)鏡像的速度較標(biāo)準(zhǔn)BitTorrent協(xié)議提升了10％～7