云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)量呈爆炸式的增長(zhǎng)，對(duì)這些數(shù)據(jù)的存儲(chǔ)成為了計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)。傳統(tǒng)的存儲(chǔ)方式，比如存儲(chǔ)區(qū)域網(wǎng)絡(luò)和網(wǎng)絡(luò)附加存儲(chǔ)因?yàn)槠浯鎯?chǔ)容量和性能存在瓶頸，價(jià)格昂貴，不易擴(kuò)展等原因，應(yīng)用范圍受到限制。云存儲(chǔ)采用分布式文件系統(tǒng)為核心，硬件設(shè)備價(jià)格低廉，可擴(kuò)展性好。副本技術(shù)提高了系統(tǒng)的可靠性、可用性和性能的同時(shí)，也帶來(lái)了負(fù)載均衡，網(wǎng)絡(luò)帶寬開(kāi)銷，一致性等問(wèn)題。
　　本文分析了當(dāng)前典型的分布式文件系統(tǒng)，結(jié)合云存儲(chǔ)環(huán)境下

2、的業(yè)務(wù)特征，研究了相應(yīng)的副本策略，重點(diǎn)考慮系統(tǒng)訪問(wèn)的效率和性能，負(fù)載均衡，數(shù)據(jù)的一致性等問(wèn)題，并根據(jù)這些需求設(shè)計(jì)和實(shí)現(xiàn)了分布式文件系統(tǒng)中的副本管理模塊。本文的主要工作包括以下內(nèi)容：
　?。?）提出了基于一致性哈希的副本放置策略。傳統(tǒng)的分布式文件系統(tǒng)副本放置位置主要通過(guò)元數(shù)據(jù)中心服務(wù)器存儲(chǔ)，當(dāng)系統(tǒng)并發(fā)訪問(wèn)量很大時(shí)，元數(shù)據(jù)服務(wù)器將成為系統(tǒng)的瓶頸?；谝恢滦怨５母北痉胖貌呗院芎玫慕鉀Q了文件檢索，存儲(chǔ)設(shè)備擴(kuò)展和失效的問(wèn)題。引入虛擬節(jié)點(diǎn)映

3、射，極大地減少了系統(tǒng)設(shè)備的改變帶來(lái)的數(shù)據(jù)遷移。同時(shí)對(duì)設(shè)備按照存儲(chǔ)能力增加權(quán)重屬性，更好的提高了系統(tǒng)的負(fù)載均衡。
　　（2）提出了基于文件熱度的副本調(diào)整策略。該策略以文件的請(qǐng)求次數(shù)為基礎(chǔ)，結(jié)合服務(wù)器的負(fù)載，動(dòng)態(tài)地調(diào)整副本數(shù)量，提升了系統(tǒng)的性能和效率。同時(shí)，輔以副本壓縮策略，對(duì)長(zhǎng)時(shí)間沒(méi)有訪問(wèn)的文件副本壓縮，在保證數(shù)據(jù)可靠性和可用性的同時(shí)，節(jié)省了系統(tǒng)的存儲(chǔ)空間。
　?。?）提出了基于用戶請(qǐng)求的副本一致性策略。該策略在對(duì)副本一致性維