基于存儲(chǔ)區(qū)域網(wǎng)絡(luò)的數(shù)據(jù)可靠性技術(shù)研究.pdf

1、全球經(jīng)濟(jì)正經(jīng)歷著一場(chǎng)深刻的大變革，這場(chǎng)變革的關(guān)鍵就在于信息的應(yīng)用。信息正成為最具有活力、最重要的生產(chǎn)要素之一。信息量的激增同時(shí)也增加了信息資源管理的難度，給信息的存儲(chǔ)和處理帶來(lái)了巨大的挑戰(zhàn)，。存儲(chǔ)管理技術(shù)的研究得到了普遍的關(guān)注，并逐漸成為研究熱點(diǎn)。存儲(chǔ)硬件技術(shù)的發(fā)展，使海量數(shù)據(jù)存儲(chǔ)成為可能，也為存儲(chǔ)管理技術(shù)的發(fā)展提供了機(jī)遇。借助于存儲(chǔ)區(qū)域網(wǎng)絡(luò)(StorageAreaNetwork,SAN)，人均可管理數(shù)據(jù)量大大超過(guò)直接相連存儲(chǔ)系統(tǒng)(Di

2、rectAttachStorage,DAS)。存儲(chǔ)區(qū)域網(wǎng)絡(luò)的出現(xiàn)，改變了存儲(chǔ)系統(tǒng)的管理方式，數(shù)據(jù)由分散存儲(chǔ)到集中存儲(chǔ)。在存儲(chǔ)能力大幅度提高的同時(shí)，數(shù)據(jù)管理的工作量和復(fù)雜度也不斷增加，而原有存儲(chǔ)管理技術(shù)制約著人均可管理數(shù)據(jù)量的進(jìn)一步提高。多項(xiàng)調(diào)查表明，存儲(chǔ)管理技術(shù)是限制存儲(chǔ)容量進(jìn)一步發(fā)展的瓶頸。存儲(chǔ)管理一方面要提高存儲(chǔ)資源的利用效率，另一方面要提高人的管理效率，需要將管理員從繁雜的重復(fù)勞動(dòng)中解放出來(lái)，提高存儲(chǔ)管理軟件的智能程度，使其成為存

3、儲(chǔ)管理工作的主體。存儲(chǔ)系統(tǒng)的自動(dòng)化管理的研究目標(biāo)就是提高存儲(chǔ)管理系統(tǒng)的智能程度，減少人為干預(yù)，降低存儲(chǔ)管理工作的難度和強(qiáng)度。 另一方面，數(shù)據(jù)激增帶給企業(yè)巨大財(cái)富的同時(shí)，數(shù)據(jù)的價(jià)值已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了計(jì)算機(jī)系統(tǒng)本身的價(jià)值，意外的停機(jī)或數(shù)據(jù)損壞會(huì)給企業(yè)帶來(lái)巨大的損失。數(shù)據(jù)災(zāi)難造成的經(jīng)濟(jì)損失遠(yuǎn)遠(yuǎn)大于計(jì)算機(jī)系統(tǒng)本身故障造成的損失。從911事件之類的恐怖襲擊，到停電、硬盤(pán)故障等意外事件都會(huì)導(dǎo)致數(shù)據(jù)丟失。為了避免數(shù)據(jù)損失，已經(jīng)實(shí)現(xiàn)了各種不同的高可

4、靠性技術(shù)，包括冗余磁盤(pán)陣列(RedundentArrayofIncxpcnsivcDisks,RAID)，復(fù)制技術(shù)等。用戶在選擇存儲(chǔ)系統(tǒng)時(shí)，可靠性也正日益成為一個(gè)重要的指標(biāo)。但是目前的數(shù)據(jù)高可靠性研究還存在以下幾個(gè)問(wèn)題：(1)缺乏數(shù)據(jù)可靠性的準(zhǔn)確定義。目前研究存儲(chǔ)系統(tǒng)可靠性主要著眼于存儲(chǔ)系統(tǒng)中的磁盤(pán)陣列或存儲(chǔ)子系統(tǒng)的可靠性，而不是其上保存數(shù)據(jù)的可靠性。海量數(shù)據(jù)存儲(chǔ)管理中，同一磁盤(pán)陣列上的數(shù)據(jù)可能具有不同的可靠性要求，其次，使用不同的備份

5、周期和參數(shù)，不同的數(shù)據(jù)也確實(shí)具有不同的可靠性。(2)缺乏統(tǒng)一的可靠性度量標(biāo)準(zhǔn)，尤其是衡量組合容災(zāi)方案的方法。各個(gè)廠商為用戶提供了多種多樣的備份技術(shù)，并提供了這些方案的設(shè)置和使用方法，但是如何評(píng)價(jià)組合方案的效果仍存在巨大的空白。不同方案涉及到的技術(shù)和參數(shù)各不相同，也和用戶的需求表示方式存在有巨大的差異，急需適用于用戶和業(yè)界的統(tǒng)一的可靠性度量標(biāo)準(zhǔn)。(3)缺乏智能化的管理系統(tǒng)。備份和恢復(fù)是數(shù)據(jù)管理員最繁重的工作，而且單調(diào)乏味，適合計(jì)算機(jī)來(lái)進(jìn)行

6、管理。定義好恢復(fù)規(guī)則后，在監(jiān)測(cè)到故障發(fā)生后，自治系統(tǒng)自動(dòng)恢復(fù)數(shù)據(jù)可以加快數(shù)據(jù)恢復(fù)速度。 本文對(duì)基于存儲(chǔ)區(qū)域網(wǎng)絡(luò)的數(shù)據(jù)可靠性的管理問(wèn)題進(jìn)行了研究，提出了數(shù)據(jù)可靠性的定義，包括數(shù)據(jù)可靠性的分析框架及分析方法，海量數(shù)據(jù)的備份和恢復(fù)算法；在此基礎(chǔ)上實(shí)現(xiàn)了高可靠性存儲(chǔ)系統(tǒng)的自動(dòng)設(shè)計(jì)與自治管理。其目的是通過(guò)解決存儲(chǔ)服務(wù)中數(shù)據(jù)可靠性相關(guān)的幾個(gè)關(guān)鍵技術(shù)問(wèn)題，創(chuàng)建一個(gè)集成的存儲(chǔ)可靠性自治管理系統(tǒng)，試圖為存儲(chǔ)管理系統(tǒng)的設(shè)計(jì)建立理論基礎(chǔ)，為基于存儲(chǔ)網(wǎng)

7、絡(luò)的大規(guī)模存儲(chǔ)自治管理系統(tǒng)的應(yīng)用提供支持。本文反映了作者自2001年以來(lái)的研究工作，主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下： 1.在分析現(xiàn)有的軟硬件可靠性評(píng)價(jià)模型的基礎(chǔ)上，提出了利用數(shù)據(jù)價(jià)值和停用損失來(lái)度量數(shù)據(jù)可靠性的思想，給出了數(shù)據(jù)可靠性的定義。以此為基礎(chǔ)，提出了用于分析數(shù)據(jù)可靠性的抽象模型。該模型對(duì)數(shù)據(jù)可用性、完整性、災(zāi)難恢復(fù)等不同的特征都賦以不同的權(quán)重，并通過(guò)用戶損失來(lái)描述，統(tǒng)一了用戶和設(shè)計(jì)人員的標(biāo)準(zhǔn)，建立了統(tǒng)一的分析模型。 2

8、.根據(jù)數(shù)據(jù)在時(shí)間和空間上的分布特性，提出了計(jì)算副本剩余價(jià)值的方法。利用該方法，設(shè)計(jì)了故障發(fā)生后使數(shù)據(jù)損失最小的恢復(fù)策略。并提出了海量存儲(chǔ)系統(tǒng)中，使系統(tǒng)整體損失最小的備份和恢復(fù)算法。 3.對(duì)高可靠性技術(shù)性能進(jìn)行了研究。首先，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)測(cè)量復(fù)制技術(shù)性能的工具，該工具可以對(duì)用不同方式實(shí)現(xiàn)的復(fù)制的性能進(jìn)行測(cè)量和比較。其次，在ns2的基礎(chǔ)上實(shí)現(xiàn)了存儲(chǔ)區(qū)域網(wǎng)絡(luò)模擬器，可以用來(lái)模擬和計(jì)算SAN內(nèi)數(shù)據(jù)傳輸性能。 4.以數(shù)據(jù)可靠性模

9、型和高可靠性技術(shù)分析為基礎(chǔ)，提出了數(shù)據(jù)可靠性自動(dòng)設(shè)計(jì)系統(tǒng)，該系統(tǒng)能根據(jù)用戶的可靠性和成本要求給出合適的存儲(chǔ)、備份方案。 5.以數(shù)據(jù)可靠性模型和副本價(jià)值計(jì)算方法為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)了基于備份管理的可靠性管理自治系統(tǒng)，通過(guò)預(yù)定的策略將存儲(chǔ)系統(tǒng)的可靠性管理自動(dòng)化，簡(jiǎn)化了管理任務(wù)，降低了管理成本。另外，自治系統(tǒng)可以通過(guò)對(duì)系統(tǒng)的監(jiān)測(cè)，對(duì)復(fù)制參數(shù)進(jìn)行調(diào)節(jié)，更好地達(dá)到預(yù)定目標(biāo)。 本文的部分研究是與國(guó)外某大型IT企業(yè)(世界500強(qiáng))合作完