發(fā)布-訂閱系統(tǒng)中歷史數(shù)據(jù)存儲(chǔ)服務(wù)的研究與實(shí)現(xiàn).pdf

1、發(fā)布/訂閱(Publish/Subscribe)通信泛型由于具有時(shí)空松耦合的特點(diǎn)，適用于大規(guī)模分布式計(jì)算環(huán)境，近年來得到了廣泛的關(guān)注。時(shí)空松耦合包含時(shí)間和空間的松耦合。其中，空間的松耦合是指數(shù)據(jù)的發(fā)布者無需關(guān)心被何種訂閱者訂閱，訂閱者只接收感興趣的數(shù)據(jù)，而不需要知道接收的消息來源于何種發(fā)布者;時(shí)間的松耦合是指發(fā)布者/訂閱者不需要同時(shí)參與交互過程，訂閱者沒有在線時(shí)，發(fā)布者也可以發(fā)布數(shù)據(jù)，在數(shù)據(jù)的發(fā)布者離線時(shí)，訂閱者仍然可以獲取到數(shù)據(jù)。

2、r>　　發(fā)布/訂閱系統(tǒng)是支持分布式系統(tǒng)中各個(gè)參與者以發(fā)布/訂閱的方式進(jìn)行交互的中間件系統(tǒng)。為了支持時(shí)間的松耦合，發(fā)布/訂閱系統(tǒng)需要具備歷史數(shù)據(jù)的存儲(chǔ)功能，保證訂閱者可在線獲取系統(tǒng)生命周期中所有發(fā)布的數(shù)據(jù)。目前發(fā)布/訂閱系統(tǒng)中歷史數(shù)據(jù)存儲(chǔ)的研究主要采用將部分歷史數(shù)據(jù)暫存在系統(tǒng)中的方式，永久存儲(chǔ)所有歷史數(shù)據(jù)的相關(guān)工作中，大多采用靜態(tài)的存儲(chǔ)策略，存儲(chǔ)節(jié)點(diǎn)容易成為熱點(diǎn)，負(fù)載均衡性較差。
　　針對靜態(tài)存儲(chǔ)策略所存在的問題，本文設(shè)計(jì)了一種新的

3、歷史數(shù)據(jù)存儲(chǔ)方案。該方案將系統(tǒng)中主題的元數(shù)據(jù)和數(shù)據(jù)分離存儲(chǔ)。主題的元數(shù)據(jù)服務(wù)器采用分布式架構(gòu)，客戶端通過Chord環(huán)算法定位元數(shù)據(jù)服務(wù)器。為了避免單一代理存儲(chǔ)容量的限制，同一主題的數(shù)據(jù)采取分塊存儲(chǔ)方式，數(shù)據(jù)塊分布存放在多個(gè)節(jié)點(diǎn)中。本文還提出了動(dòng)態(tài)的數(shù)據(jù)塊劃分算法，在主題發(fā)布數(shù)據(jù)速率不同的情況下依然能夠保持合適的分塊大小。針對發(fā)布/訂閱系統(tǒng)中數(shù)據(jù)交互的特性，主題數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)通過建立訂閱獲取數(shù)據(jù)，本文進(jìn)一步提出了基于節(jié)點(diǎn)存儲(chǔ)適應(yīng)值的存儲(chǔ)節(jié)

4、點(diǎn)選擇算法，降低數(shù)據(jù)存儲(chǔ)對系統(tǒng)網(wǎng)絡(luò)資源的使用。為了提高文件塊內(nèi)數(shù)據(jù)定位速率，在數(shù)據(jù)塊存儲(chǔ)的過程中每隔一段長度生成“關(guān)鍵幀”并存儲(chǔ)在文件頭的索引中，讀取操作根據(jù)索引快速定位數(shù)據(jù)。此外，本文采用副本策略應(yīng)對節(jié)點(diǎn)失效，其中主題元數(shù)據(jù)采用鏈?zhǔn)礁北?，主題副本存儲(chǔ)位置由元數(shù)據(jù)代理指定。為了降低節(jié)點(diǎn)暫時(shí)失效對系統(tǒng)的影響，系統(tǒng)實(shí)際存儲(chǔ)的副本數(shù)多于指定副本數(shù)，當(dāng)系統(tǒng)副本數(shù)低于指定副本數(shù)時(shí)再進(jìn)行恢復(fù)。
　　本文在所提出的歷史數(shù)據(jù)存儲(chǔ)方案的基礎(chǔ)之上，設(shè)