基于P2P結(jié)構(gòu)的廣域分布式存儲相關(guān)技術(shù)研究.pdf

1、P2P計算技術(shù)有別于傳統(tǒng)客戶/服務(wù)器服務(wù)模式，具有極強(qiáng)的魯棒性和可擴(kuò)展性。在互聯(lián)網(wǎng)信息爆炸的今天，利用P2P技術(shù)來構(gòu)建海量數(shù)據(jù)分布式存儲系統(tǒng)成為最有效的存儲組織模式之一。P2P計算環(huán)境中的拓?fù)湟恢滦?、?jié)點(diǎn)動態(tài)性、異構(gòu)性和自治性等問題是構(gòu)建分布式存儲系統(tǒng)面臨的關(guān)鍵問題和難點(diǎn)。以利用Internet上個人計算機(jī)的空閑計算資源、存儲資源和網(wǎng)絡(luò)資源構(gòu)建一個面向海量用戶的海量分布式存儲系統(tǒng)為主要應(yīng)用目標(biāo)，本文研究了目前主要采用的分布式存儲技術(shù)，分

2、析了利用P2P技術(shù)構(gòu)建分布式存儲系統(tǒng)面臨的主要問題，在研究構(gòu)建P2P存儲系統(tǒng)的基礎(chǔ)理論和算法基礎(chǔ)之上，針對現(xiàn)有P2P存儲系統(tǒng)在實(shí)時性和容錯性上存在的不足，提出一個面向Internet的基于對等結(jié)構(gòu)的分布式存儲系統(tǒng)(RSA-Store)框架，對存儲覆蓋網(wǎng)絡(luò)構(gòu)建、數(shù)據(jù)管理、副本一致性維護(hù)和負(fù)載均衡等問題提出了相應(yīng)的解決方案和策略，主要研究工作和創(chuàng)新如下:
　　 (1)提出一種新的存儲覆蓋網(wǎng)絡(luò)構(gòu)建機(jī)制來改善P2P網(wǎng)絡(luò)中的拓?fù)湟恢滦詥栴}

3、。拓?fù)湟恢滦詥栴}嚴(yán)重制約了存儲系統(tǒng)的性能，現(xiàn)有研究通過測量節(jié)點(diǎn)之間的網(wǎng)絡(luò)距離并在此基礎(chǔ)上對節(jié)點(diǎn)進(jìn)行分組來改善這種影響，通過網(wǎng)絡(luò)距離進(jìn)行分組的方法具有不穩(wěn)定性和帶來大量的聚集開銷。針對上述問題，利用Internet結(jié)構(gòu)的自然屬性建立一個基于區(qū)域語義的層次覆蓋網(wǎng)絡(luò)（RSA-HRing），給出了相應(yīng)的拓?fù)渚S護(hù)機(jī)制，設(shè)計了基于推(Push)拉(Pull)相結(jié)合的超節(jié)點(diǎn)及其備份節(jié)點(diǎn)的選取算法，提出一種預(yù)防超節(jié)點(diǎn)失效的魯棒性算法SNFT-RA。在此

4、基礎(chǔ)上，針對現(xiàn)有網(wǎng)絡(luò)距離測量方法中采用時延和跳數(shù)度量容易帶來三角不等式問題，詳細(xì)描述和分析了通過路徑矢量測量網(wǎng)絡(luò)距離的思想，并將其應(yīng)用到覆蓋網(wǎng)絡(luò)的路由算法中，提出了一種基于路徑矢量(Path-Vector)的覆蓋網(wǎng)絡(luò)路由算法(PVRA)。仿真實(shí)驗表明，RSA-HRing能顯著降低覆蓋網(wǎng)絡(luò)拓?fù)錁?gòu)建和維護(hù)開銷;PVRA具有較好的路由性能，能夠在保持覆蓋網(wǎng)絡(luò)路由規(guī)模的同時顯著節(jié)約實(shí)際物理路由開銷。
　　 (2)結(jié)合存儲用戶訪問行為和區(qū)

5、域活動特點(diǎn)，在RSA-HRing網(wǎng)絡(luò)中提出一種基于區(qū)域感知的數(shù)據(jù)管理模型。基于區(qū)域感知的數(shù)據(jù)管理模型采用靜態(tài)的數(shù)據(jù)放置策略I(nter)-I(ntra) BS來保證數(shù)據(jù)的精確定位和容錯性能;同時詳細(xì)分析了用戶區(qū)域活動行為特點(diǎn)，提出一種基于區(qū)域感知的動態(tài)副本生成策略(RA-RCM)來改善數(shù)據(jù)訪問性能。針對數(shù)據(jù)放置和副本生成策略設(shè)計了詳細(xì)的定位算法和副本管理機(jī)制，用數(shù)學(xué)方法分析了RSA-HRing環(huán)境下該模型的訪問開銷，同時給出了節(jié)點(diǎn)失效對

6、數(shù)據(jù)訪問成功率影響的概率分析。仿真實(shí)驗表明，如果合理控制簇節(jié)點(diǎn)規(guī)模和備份閾值，RA-RCM算法可以顯著的節(jié)約數(shù)據(jù)定位跳數(shù); I(nter)-I(ntra) BS能夠有效應(yīng)對節(jié)點(diǎn)的失效，尤其是在覆蓋網(wǎng)層引入SNFT-RA算法后系統(tǒng)具有較好的數(shù)據(jù)容錯能力。
　　 (3)提出一種基于節(jié)點(diǎn)異構(gòu)度的覆蓋網(wǎng)絡(luò)副本一致性維護(hù)方法(NHDCOM)。異構(gòu)性是RSA-Store環(huán)境下節(jié)點(diǎn)的典型特征，現(xiàn)有的副本一致性維護(hù)算法對節(jié)點(diǎn)異構(gòu)性缺乏考量，NH

7、DCOM引入了節(jié)點(diǎn)能力度量參數(shù)-節(jié)點(diǎn)異構(gòu)度，利用Chord環(huán)組織副本節(jié)點(diǎn)，提出一種基于節(jié)點(diǎn)指取表的環(huán)分割算法，理論分析證明該算法能夠以較小的開銷幫助更新源節(jié)點(diǎn)獲得所有其他副本節(jié)點(diǎn)的異構(gòu)度信息。結(jié)合節(jié)點(diǎn)異構(gòu)度，給出了一種求解最小延遲更新內(nèi)容樹(minimum delay update-contenttree)的問題模型，利用動態(tài)規(guī)劃的方法提出一種啟發(fā)式算法--MDUT-H。仿真實(shí)驗表明，相較現(xiàn)有算法，在不同的節(jié)點(diǎn)異構(gòu)度分布、副本文件大小以

8、及節(jié)點(diǎn)規(guī)模等環(huán)境下，NHDCOM算法具有出色的效率和穩(wěn)定性。
　　 (4)提出一種基于虛擬服務(wù)器拆分的負(fù)載平衡算法(VSSLBA)。有效的負(fù)載平衡算法對RSA-Store系統(tǒng)數(shù)據(jù)的可用性和實(shí)時性將產(chǎn)生積極的影響。在物理節(jié)點(diǎn)上建立多個虛擬服務(wù)器并根據(jù)需要進(jìn)行虛擬服務(wù)器遷移是目前DHT網(wǎng)絡(luò)中經(jīng)常采用的負(fù)載平衡方法，但這種方法存在單虛擬服務(wù)器問題(SVSP)。根據(jù)節(jié)點(diǎn)間間距的分布概率，建立了基于虛擬服務(wù)器的DHT網(wǎng)絡(luò)負(fù)載分布數(shù)學(xué)模型，