勝利油田異構數據遷移系統(tǒng)設計與實現(xiàn).pdf

1、在數據庫管理和數據庫開發(fā)中,數據遷移是最常用的功能之一。由于石油業(yè)務的復雜性帶來了數據的復雜性,現(xiàn)今大量的結構化數據和非結構化圖形、文檔、超大數據體及其相互的關聯(lián),使數據遷移工作逐步成為勘探數據采集、管理領域的核心和難點。本論文從數據遷移系統(tǒng)的開發(fā)背景和目標出發(fā),介紹了數據遷移系統(tǒng)的組織架構和數據處理流程,探討如何按照將分散的數據庫整合,建立綜合數據中心為思路,開發(fā)一套滿足當前石油企業(yè)勘探數據遷移自動化工具。論文在軟件體系的設計研究中,

2、采用了MVC架構模式,將模型、視圖與控制器的分離,使得一個模型可以具有多個顯示視圖。用戶通過視圖部分的用戶界面確定數據轉換任務規(guī)則。而模型部分負責容器持久化管理,將內存對象與XML存儲進行轉換。控制部分實現(xiàn)了主要的業(yè)務操作與業(yè)務規(guī)則,包括用戶的數據入庫、寫入xml、文件遷移、自動更新等一系列操作。整體技術框架通過這種定義建立了一種模型的變化-傳播機制,使系統(tǒng)具有高度的擴展性。在技術實現(xiàn)上,本論文從數據庫的相關概念和特點入手,在進行數據轉

3、換規(guī)則、數據遷移實現(xiàn)方法、多數據庫數據類型映射、大型數據字段處理等基礎技術研究的基礎上,運用遷移任務定義和獲取、函數動態(tài)加載、多種數據庫大字段處理、渠道中間件、質量控制、調度服務等關鍵技術,實現(xiàn)了將各種異構數據庫的數據類型一一對應,保證了各類數據的數據獲取、處理、映射和傳輸一體化技術的實現(xiàn)。本文的研究最終為用戶提供了一套可視化與自動化工具,使用戶可以充分、有效地管理這些遷移操作,該系統(tǒng)構建了油田的石油勘探開發(fā)數據交換與數據集成應用的統(tǒng)一