系統(tǒng)級(jí)數(shù)據(jù)保護(hù)技術(shù)研究.pdf

1、隨著當(dāng)前信息時(shí)代數(shù)據(jù)量的激增和數(shù)據(jù)價(jià)值的不斷提升，存儲(chǔ)系統(tǒng)必須采取有效的技術(shù)措施保障用戶數(shù)據(jù)的可靠性、可用性和安全性。面對(duì)海量數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)各方面需求的挑戰(zhàn)，如何對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)有效的保護(hù)已成為存儲(chǔ)領(lǐng)域重要課題。由于網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的復(fù)雜性，單靠某一項(xiàng)數(shù)據(jù)保護(hù)技術(shù)是難以解決這個(gè)問(wèn)題的，這要求采用系統(tǒng)化的方式，運(yùn)用多層次、集成式的方法研究和設(shè)計(jì)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)保護(hù)技術(shù)。這些技術(shù)包括連續(xù)數(shù)據(jù)保護(hù)(Continuous Data Protectio

2、n，簡(jiǎn)稱CDP)技術(shù)、冗余數(shù)據(jù)容錯(cuò)技術(shù)、可伸縮的數(shù)據(jù)分布算法和自適應(yīng)的數(shù)據(jù)遷移技術(shù)等，將它們結(jié)合在一起為存儲(chǔ)系統(tǒng)提供了全面的系統(tǒng)化數(shù)據(jù)保護(hù)方案。 首先從單節(jié)點(diǎn)存儲(chǔ)設(shè)備入手，研究并設(shè)計(jì)了基于塊級(jí)的連續(xù)數(shù)據(jù)保護(hù)技術(shù)。根據(jù)當(dāng)前不同連續(xù)數(shù)據(jù)保護(hù)機(jī)制的優(yōu)缺點(diǎn)，設(shè)計(jì)了一種基于任意時(shí)間點(diǎn)適時(shí)恢復(fù)(Timely Recovery to Any Point-in-time，簡(jiǎn)稱TRAP) 思想的連續(xù)數(shù)據(jù)保護(hù)機(jī)制——ST-CDP。ST-CDP在保留

3、TRAP系統(tǒng)原有數(shù)據(jù)記錄方式的基礎(chǔ)上，按一定間隔值在恢復(fù)鏈條中插入對(duì)應(yīng)時(shí)間點(diǎn)的快照數(shù)據(jù)，有效的解決了TRAP系統(tǒng)鏈條易失效和恢復(fù)時(shí)間過(guò)長(zhǎng)問(wèn)題。借助量化分析模型分析了該機(jī)制的性能并確定最優(yōu)的間隔值，并在塊級(jí)實(shí)現(xiàn)了該機(jī)制的原型系統(tǒng)。結(jié)合多組實(shí)驗(yàn)數(shù)據(jù)結(jié)果表明ST-CDP機(jī)制具有低存儲(chǔ)空間開(kāi)銷、低系統(tǒng)性能影響以及高數(shù)據(jù)恢復(fù)效率的特點(diǎn)。 接著設(shè)計(jì)了一種基于低密度校驗(yàn)碼（Low Density Parity Check code，簡(jiǎn)稱LDP

4、C）的容錯(cuò)機(jī)制來(lái)提高冗余數(shù)據(jù)的可靠性。由于數(shù)據(jù)的恢復(fù)依賴于連續(xù)數(shù)據(jù)保護(hù)機(jī)制產(chǎn)生的冗余數(shù)據(jù)，因此有必要采用容錯(cuò)機(jī)制提高冗余數(shù)據(jù)的可靠性。使得數(shù)據(jù)不僅在單節(jié)點(diǎn)上能得到保護(hù)，在節(jié)點(diǎn)間也具有相互容錯(cuò)功能。根據(jù)數(shù)據(jù)分布的可靠性和存儲(chǔ)開(kāi)銷的量化分析，得出一種優(yōu)化的編碼配置，并在iSCSI 集群系統(tǒng)中實(shí)現(xiàn)了該容錯(cuò)機(jī)制。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)結(jié)果表明，無(wú)論在正常工作負(fù)載還是在降級(jí)工作負(fù)載下，通過(guò)增加少量的存儲(chǔ)空間開(kāi)銷，采用小型LDPC容錯(cuò)機(jī)制能夠有效地保障冗余數(shù)

5、據(jù)的可靠性。 然后針對(duì)大規(guī)模的網(wǎng)絡(luò)存儲(chǔ)設(shè)備會(huì)因節(jié)點(diǎn)失效、設(shè)備更新等原因使得不同節(jié)點(diǎn)的工作狀態(tài)會(huì)經(jīng)常發(fā)生變化的特點(diǎn)，設(shè)計(jì)一種高效的數(shù)據(jù)分布算法，使得存儲(chǔ)系統(tǒng)的節(jié)點(diǎn)狀態(tài)發(fā)生變化時(shí)，數(shù)據(jù)的分布能很快趨于平衡，并且所需遷移的數(shù)據(jù)量最少。采用了一種基于區(qū)間映射并根據(jù)存儲(chǔ)節(jié)點(diǎn)的權(quán)值來(lái)均勻分配存儲(chǔ)數(shù)據(jù)的分布算法，仿真結(jié)果表明，采用這種算法可以使得數(shù)據(jù)對(duì)象的分布與各個(gè)節(jié)點(diǎn)的權(quán)重成正比，并且在存儲(chǔ)規(guī)模和權(quán)重發(fā)生改變時(shí)，移動(dòng)的數(shù)據(jù)對(duì)象數(shù)量與理論的最

6、少值相當(dāng)。 最后借鑒控制理論中的反饋控制技術(shù)，研究并設(shè)計(jì)了一種自適應(yīng)的動(dòng)態(tài)數(shù)據(jù)遷移解決方案。在保障存儲(chǔ)系統(tǒng)的可靠性和負(fù)載均衡性能過(guò)程中，數(shù)據(jù)遷移成為存儲(chǔ)系統(tǒng)重要的操作環(huán)節(jié)，無(wú)論是系統(tǒng)內(nèi)部進(jìn)行數(shù)據(jù)保護(hù)、冗余數(shù)據(jù)進(jìn)行容錯(cuò)還是外部進(jìn)行遠(yuǎn)程數(shù)據(jù)備份，都需要進(jìn)行數(shù)據(jù)遷移操作。而通常數(shù)據(jù)遷移會(huì)消耗大量的CPU和內(nèi)存資源，因此必須制定可自適應(yīng)調(diào)節(jié)的數(shù)據(jù)遷移機(jī)制，使得數(shù)據(jù)遷移操作盡可能地少影響正常的工作業(yè)務(wù)流程。通過(guò)實(shí)驗(yàn)驗(yàn)證，該方案能依據(jù)存儲(chǔ)系