大數(shù)據(jù)遷移過(guò)程中數(shù)據(jù)完整性問(wèn)題研究.pdf

1、數(shù)據(jù)作為信息系統(tǒng)正常運(yùn)作的基礎(chǔ)，是一個(gè)企業(yè)正常運(yùn)營(yíng)的核心。業(yè)務(wù)的橫向和縱向發(fā)展，新型的交互模式，以及移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展使得數(shù)據(jù)呈現(xiàn)指數(shù)增長(zhǎng)。服務(wù)以及管理也逐漸精細(xì)化，信息系統(tǒng)逐漸集中式，這些因素共同催生了大規(guī)模的數(shù)據(jù)中心。再加上新技術(shù)架構(gòu)以及新型業(yè)務(wù)的產(chǎn)生，對(duì)系統(tǒng)性能提出了更高的要求，這些都要通過(guò)軟件升級(jí)來(lái)實(shí)現(xiàn)，在軟件升級(jí)以及新老系統(tǒng)更替的過(guò)程中必然要面對(duì)數(shù)據(jù)遷移的問(wèn)題。數(shù)據(jù)遷移項(xiàng)目過(guò)程中必然要面對(duì)很多風(fēng)險(xiǎn)分析。本文針對(duì)數(shù)據(jù)遷移過(guò)程中

2、的數(shù)據(jù)完整性問(wèn)題進(jìn)行研究，進(jìn)行了數(shù)據(jù)完整性風(fēng)險(xiǎn)分析和數(shù)據(jù)完整性檢測(cè)。數(shù)據(jù)完整性檢測(cè)是數(shù)據(jù)遷移必不可少的環(huán)節(jié)，對(duì)其進(jìn)行深入研究有重要的意義。
　　首先，本論文基于故障樹(shù)理論對(duì)數(shù)據(jù)遷移過(guò)程中數(shù)據(jù)完整性風(fēng)險(xiǎn)進(jìn)行分析。該過(guò)程清晰的呈現(xiàn)了數(shù)據(jù)完整性在數(shù)據(jù)遷移過(guò)程中會(huì)遇到的風(fēng)險(xiǎn)因素以及風(fēng)險(xiǎn)因素的結(jié)構(gòu)重要度。通過(guò)分析結(jié)構(gòu)重要度，可以得到在進(jìn)行數(shù)據(jù)遷移的過(guò)程中，為了不發(fā)生數(shù)據(jù)完整性遭到破壞的風(fēng)險(xiǎn)，要著重注意的風(fēng)險(xiǎn)事項(xiàng)。并在此基礎(chǔ)上計(jì)算出數(shù)據(jù)完整性

3、遭到破壞風(fēng)險(xiǎn)發(fā)生的概率，為數(shù)據(jù)遷移項(xiàng)目的可行性分析提供依據(jù)。該過(guò)程中主要分為三個(gè)過(guò)程:首先建立數(shù)據(jù)完整性風(fēng)險(xiǎn)故障樹(shù)，然后根據(jù)故障樹(shù)分析各個(gè)風(fēng)險(xiǎn)因素的結(jié)構(gòu)重要度，最后依據(jù)專(zhuān)家給出的數(shù)據(jù)計(jì)算出數(shù)據(jù)完整性遭到破壞風(fēng)險(xiǎn)發(fā)生的概率。
　　其次，本文提出了新的基于MD5分組數(shù)據(jù)完整性檢測(cè)與回溯方法。該方法解決了MD5算法本身只能串行計(jì)算的難題，提高了數(shù)據(jù)完整性檢測(cè)的性能與速度。并且能夠根據(jù)每個(gè)分組定義的標(biāo)簽回溯到問(wèn)題數(shù)據(jù)分組的位置，減少問(wèn)題數(shù)

4、據(jù)排查的工作量。該方法通過(guò)先將大的數(shù)據(jù)文件根據(jù)事先設(shè)定的分組大小PS進(jìn)行分組，再在每個(gè)分組中截取前100字節(jié)作為本數(shù)據(jù)分組的標(biāo)簽鏈接，通過(guò)多次的MD5摘要計(jì)算，有效解決MD5本身存在的碰撞問(wèn)題，得到每個(gè)分組的MD5摘要值和最終數(shù)據(jù)文件的MD5摘要值。進(jìn)行數(shù)據(jù)完整性檢測(cè)之后可以根據(jù)每個(gè)分組的標(biāo)簽鏈接快速定位數(shù)據(jù)分組的位置。
　　最后，將基于MD5分組數(shù)據(jù)完整性檢測(cè)方法應(yīng)用到具體實(shí)際當(dāng)中，驗(yàn)證該方法的可靠性和可行性。用于頭有的數(shù)據(jù)文件