基于P2P的分布式存儲系統(tǒng)可靠性及故障檢測研究.pdf

1、存儲已成為以數(shù)據(jù)為中心的信息時代核心之一。數(shù)據(jù)存儲已成為互聯(lián)網(wǎng)熱潮之后的又一次新的技術(shù)浪潮，它將網(wǎng)絡帶入了以數(shù)據(jù)為中心的時代?；赑2P的分布式存儲系統(tǒng)通過把閑散的存儲資源組織成一個邏輯上統(tǒng)一視圖，為用戶提供超大容量存儲服務。P2P網(wǎng)絡把多個結(jié)點以對等的方式組織起來，用戶使用存儲空間并通過該平臺自主尋找其他結(jié)點進行數(shù)據(jù)備份和存儲空間交換。P2P存儲易于維護、可擴展好、自配置功能強，它可以和網(wǎng)絡中大量加入的個人電腦和服務器中的存儲器組合成

2、存儲系統(tǒng)。因此，對P2P存儲系統(tǒng)及其性能的研究具有重要意義。
　　 可靠性是可信研究的基本內(nèi)涵之一，同時更是P2P存儲系統(tǒng)研究的關(guān)鍵。對于P2P存儲而言，可靠性多從系統(tǒng)的角度出發(fā)，可用性則更多的關(guān)注于數(shù)據(jù)本身，二者并不相同。躄如，一個暫時離線的結(jié)點，其上保存的數(shù)據(jù)在這一刻暫時不可訪問，降低了數(shù)據(jù)的可用性。但是數(shù)據(jù)卻并沒有丟失，因此系統(tǒng)的可靠性沒有發(fā)生變化，除非暫時離線的結(jié)點后來被證實永久離開。故障檢測是提高P2P存儲系統(tǒng)可靠性的

3、關(guān)鍵技術(shù)?，F(xiàn)有故障檢測或是采用靜態(tài)故障檢測方式，這種方法缺乏靈活性，故障檢測的錯誤率偏高，檢測的時間固定不變，易受設備或者網(wǎng)絡鏈接故障的影響；或是采用動態(tài)方式，但需要對心跳信息和網(wǎng)絡負載做某種概率假設，并不一定和實際的網(wǎng)絡條件相符合。因此，設計一種符合P2P網(wǎng)絡特點和存儲系統(tǒng)要求的故障檢測算法對于構(gòu)建高可靠性的存儲系統(tǒng)尤為關(guān)鍵。
　　 主要貢獻包括以下幾個方面：
　　 （1）目前對存儲系統(tǒng)可靠性的研究多是基于目標結(jié)點可用

4、性較高和同構(gòu)的系統(tǒng)，它一般圍繞數(shù)據(jù)可靠性度量要求和數(shù)據(jù)副本的數(shù)量關(guān)系建立模型，缺少對P2P這種結(jié)點高度動態(tài)異構(gòu)系統(tǒng)的分析。針對該問題，通過使用故障樹和隨機Petri網(wǎng)對P2P存儲系統(tǒng)可靠性建模，分析比較冗余機制與可靠性的關(guān)系，從理論上指明研究系統(tǒng)可靠性的目的和基本原則。P2P存儲系統(tǒng)通過文件或者數(shù)據(jù)的冗余來提高系統(tǒng)可靠性,它與數(shù)據(jù)的冗余度測量、數(shù)據(jù)副本的一致性維護、結(jié)點組織的可控數(shù)量（即一個P2P結(jié)點群組內(nèi)所能管理的最大結(jié)點個數(shù)）以及單

5、個結(jié)點的可用度均有關(guān)。為了提高數(shù)據(jù)查詢精確率和數(shù)據(jù)副本的分發(fā)效率，采用何種結(jié)構(gòu)的底層覆蓋網(wǎng)絡，系統(tǒng)中的結(jié)點如何組織和管理，這些都是可靠性研究需要解決的問題。模型分析方法可以在系統(tǒng)組建之初幫助優(yōu)化系統(tǒng)的設計。
　　 （2）在分布式環(huán)境中，基于不可靠故障檢測思想，針對目前故障檢測不足，實現(xiàn)了一種動態(tài)故障檢測算法。P2P存儲系統(tǒng)具有分布式系統(tǒng)的基本特征， 廣域網(wǎng)環(huán)境的各個主機通過分布式文件系統(tǒng)組織在一起，為了相互之間保持聯(lián)系，必須發(fā)送

6、信息。這種聯(lián)系有時候并不可靠，比如說一個正常工作的結(jié)點卻被系統(tǒng)誤判為失效。P2P存儲系統(tǒng)結(jié)點具有高度動態(tài)性，結(jié)點的暫時離線頻繁發(fā)生。如果這種情況下故障檢測器判斷結(jié)點故障，并采取故障切換措施的話，增加了系統(tǒng)不必要的損耗，檢測的錯誤率大大提高。因此提出了一種自反饋的動態(tài)故障檢測算法。實驗表明，該算法和Chen的方法相比，在僅僅增加了少量計算的前提下減少了故障檢測誤判率和故障檢測時間。
　　 （3）設計了一種半結(jié)構(gòu)化的P2P存儲系統(tǒng)結(jié)

7、構(gòu)，通過檢測信息的響應時間對結(jié)點分組，有效的減少了結(jié)點在物理網(wǎng)絡和覆蓋網(wǎng)絡中的位置不匹配的問題。半結(jié)構(gòu)化P2P覆蓋網(wǎng)絡結(jié)合了結(jié)構(gòu)化和非結(jié)構(gòu)化的特點，具有很好的擴展性和可管理性。 所提出的半結(jié)構(gòu)化P2P存儲系統(tǒng)，通過檢測信息的響應時間對結(jié)點分組，并結(jié)合結(jié)點的在線率和結(jié)點的響應時間計算每個結(jié)點的信譽值，對組內(nèi)每個結(jié)點按照信譽值大小排隊，并以此為選擇超級結(jié)點的依據(jù)。仿真實驗表明，設計的系統(tǒng)結(jié)構(gòu)降低每個結(jié)點加入和退出時發(fā)送的消息數(shù)量，減少了信息

8、檢索延遲，取得了較好用戶滿意度。
　　 （4）實現(xiàn)了一種超級結(jié)點選舉服務機制，主要包括四個基本部分：注冊中心、組成員維護模塊、故障檢測器和超級結(jié)點選舉模塊。超級結(jié)點作為半結(jié)構(gòu)化P2P存儲系統(tǒng)最重要的部分，一方面超級結(jié)點需要管理普通結(jié)點以及響應用戶的數(shù)據(jù)查詢要求；另一方面超級結(jié)點又需要保持和外界的聯(lián)系，對全局的數(shù)據(jù)傳輸和路由起到支撐作用。注冊中心負責結(jié)點的加入和退出。組成員維護模塊負責結(jié)點的管理，信息表的維護，以及接收新加入結(jié)點的

9、注冊信息。故障檢測器負責監(jiān)測結(jié)點狀態(tài)和統(tǒng)計結(jié)點歷史信息。超級結(jié)點選舉模塊負責在超級結(jié)點失效時重新選擇一個新的結(jié)點作為超級結(jié)點。實驗結(jié)果表明，該超級結(jié)點選舉算法平均服務恢復時間和平均錯誤率均小于Toung等人實現(xiàn)的S1，而服務的可用性接近或略低于S3，達到了實驗預想的效果，即在保持一定可用性的條件下，減少錯誤率和服務恢復的時間，從而提高了P2P存儲系統(tǒng)的可靠性。實現(xiàn)的超級結(jié)點服務機制可以根據(jù)用戶需求靈活部署，為以后解決方案的實現(xiàn)提供了便利