基于MD5與HASH的數(shù)據(jù)庫增量提取算法及其應用.pdf

1、當今社會，信息基礎(chǔ)設施越來越完善，信息間的交流愈發(fā)頻繁，導致了信息的海量增長。數(shù)據(jù)信息的丟失和損壞將會引起難以估量的損失，數(shù)據(jù)備份是解決此問題唯一可行的方案。在某段時間里，海量數(shù)據(jù)中往往只有一部分數(shù)據(jù)發(fā)生了改變，如果采用完全備份則存在效率低下的問題，而增量備份既能縮短備份時間也能減小存儲空間?，F(xiàn)有的數(shù)據(jù)庫增量提取技術(shù)中，基于第三方工具的實現(xiàn)方法，都需要在某些特定的條件下才能實現(xiàn)，存在開銷過大、改造成本過高的問題;影子表法是一種通用的基于

2、數(shù)據(jù)集合本身的增量提取方法，但現(xiàn)有的影子表法對海量數(shù)據(jù)的增量提取效率低下。本文以提高影子表法效率為重心，主要工作如下:
　　 (1)針對鄰近排序影子表法效率低下的問題，提出了一種基于HASH算法的改進型影子表增量提取方法(ST-HJ)。在使用影子表法進行增量提取的過程中，鄰近排序法需要對集合進行排序，而對于海量數(shù)據(jù)的排序效率會很低。為了解決該問題，本文在研究現(xiàn)有影子表法原理和HASH算法的基礎(chǔ)上，找到了一種通過將備份表記錄映射成

3、散列表，同時利用原始表記錄依次到散列表中探測獲取增量的方式。該方法不需要對集合進行排序，只需線性掃描一次數(shù)據(jù)集合就能獲取增量記錄。實驗表明，在對比字段較少的情況下，ST-HJ算法效率較鄰近排序法提升了近60％，而在對比字段較多的情況下，效率提升不到10％。
　　 (2)針對多屬字段情況下效率提升不明顯的問題，本文對ST-HJ算法進行了完善。在分析ST-HJ算法在多屬性字段比對的情況下效率提升不明顯的原因后發(fā)現(xiàn)，是由于多屬性字段的

4、比對及其HASH運算造成了算法性能的降低。為了解決此問題，本文在研究“影子主碼”和MD5算法的基礎(chǔ)上，通過MD5算法將多屬性字段變換為固定長度的字符串，然后再結(jié)合ST-HJ算法實現(xiàn)增量提取。該方法限定了比對字符串的長度，同時具有了ST-HJ算法的優(yōu)勢。實驗表明，在多屬性字段比對的情況下，完善后的ST-HJ算法效率提升了近40％。
　　 (3)以ST-HJ算法為基礎(chǔ)，實現(xiàn)了一個數(shù)據(jù)庫增量備份系統(tǒng)。將系統(tǒng)應用于中國移動湖南省公司的《