基于Oracle的數(shù)據(jù)遷移優(yōu)化方法研究.pdf

1、本文以大型互聯(lián)網(wǎng)公司數(shù)據(jù)遷移項(xiàng)目為研究背景。隨著公司業(yè)務(wù)發(fā)展的需要，原有系統(tǒng)不斷被功能更強(qiáng)大的新系統(tǒng)所取代。但在舊系統(tǒng)運(yùn)行期間往往積累了大量珍貴的歷史數(shù)據(jù)，在系統(tǒng)切換中，如何將歷史有效數(shù)據(jù)快速遷移到新系統(tǒng)中，對(duì)系統(tǒng)切換以及后續(xù)新系統(tǒng)的正常運(yùn)行都有著至關(guān)重要的影響。因此數(shù)據(jù)遷移往往是許多系統(tǒng)更替時(shí)最后、也是最關(guān)鍵的環(huán)節(jié)之一。
　　 本文首先介紹了數(shù)據(jù)遷移的相關(guān)概念，以及項(xiàng)目中使用到的Oracle數(shù)據(jù)庫(kù)和Python 語(yǔ)言的基本知識(shí)

2、，然后對(duì)Oracle數(shù)據(jù)庫(kù)Rowid、數(shù)據(jù)緩沖區(qū)、重做日志組三個(gè)方面做了深入的研究。最后結(jié)合對(duì)Oracle數(shù)據(jù)庫(kù)以上三個(gè)方面的研究結(jié)果使用Python 語(yǔ)言實(shí)現(xiàn)了一個(gè)高效、靈活的數(shù)據(jù)遷移程序。本文的主要研究成果歸納如下：(1)研究了Rowid 在資料存放與讀取中的作用，闡明了數(shù)據(jù)遷移過(guò)程中Rowid 訪問(wèn)順序如何對(duì)遷移速度產(chǎn)生影響。提出了合理的訪問(wèn)策略，并進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，根據(jù)Rowid 合理安排遷移數(shù)據(jù)讀取順序，能夠大幅提高數(shù)據(jù)遷

3、移速度。(2)研究了數(shù)據(jù)緩沖區(qū)的工作原理以及緩沖區(qū)換入換出策略，闡明了數(shù)據(jù)緩沖區(qū)命中率與數(shù)據(jù)遷移速度間的關(guān)系。合理的資料訪問(wèn)策略能夠大幅提高緩沖區(qū)的命中率，降低磁盤讀寫次數(shù)，使資料遷移速度大大提高。(3)在資料寫入端，研究了重做日志組的行為特點(diǎn)，以及在不同參數(shù)下的表現(xiàn)，闡明了重做日志組如何對(duì)遷移速度產(chǎn)生影響。提出了一套相互配合的優(yōu)化參數(shù)，有效避免了頻繁的日志刷新動(dòng)作，提高數(shù)據(jù)庫(kù)有效工作時(shí)間。(4)將Rowid﹑數(shù)據(jù)緩沖區(qū)﹑重做日志組的研