基于管控一體化的數(shù)據(jù)采集與數(shù)據(jù)遷移技術的研究與實現(xiàn).pdf

1、由于流程工業(yè)的業(yè)務復雜,地域分散,導致不同區(qū)域、不同業(yè)務產(chǎn)生大量的結構化數(shù)據(jù)和非結構化圖形、文檔等數(shù)據(jù),對流程工業(yè)整體進行綜合信息管理提出了挑戰(zhàn)。
　　同時RTDB(Real-time database,實時數(shù)據(jù)庫)是對流程工業(yè)現(xiàn)場進行信息監(jiān)控的關鍵,由于RTDB存儲了海量的數(shù)據(jù),且是非關系型的數(shù)據(jù)存儲方式,在數(shù)據(jù)信息采集和數(shù)據(jù)處理等各方面給基于實時數(shù)據(jù)庫的工業(yè)管理信息系統(tǒng)的開發(fā)帶來了很大的不便。
　　為了將流程工業(yè)現(xiàn)場分散

2、的異構數(shù)據(jù)集成到企業(yè)綜合MIS(Management Information System,管理信息系統(tǒng))中,需要建立一個通用的數(shù)據(jù)管理平臺,數(shù)據(jù)遷移便成為數(shù)據(jù)采集和管理的核心和難點。本文以此為背景,以建立一個通用的數(shù)據(jù)中心為思路,開發(fā)一套實用的數(shù)據(jù)遷移自動化工具。
　　論文采用了MVC(Model-View-Controller,模型-視圖-控制器)軟件架構模式,對開發(fā)過程中遇到的多數(shù)據(jù)庫數(shù)據(jù)類型映射、數(shù)據(jù)轉換規(guī)則、大數(shù)據(jù)字段處

3、理以及數(shù)據(jù)遷移實現(xiàn)方法等進行了重點描述,在技術方面主要運用了遷移任務的定義和獲取、異構數(shù)據(jù)轉換、函數(shù)動態(tài)加載技術、渠道中間件技術以及遷移質量控制等,并通過“緩存隊列”技術實現(xiàn)了對實時數(shù)據(jù)的定時轉換與遷移,保證了對工業(yè)現(xiàn)場各類異構數(shù)據(jù)的獲取、映射、處理、傳輸和遷移的一體化。
　　本文最終為用戶構建了一個可視化的數(shù)據(jù)交換與數(shù)據(jù)集成的遷移平臺,用戶可以自己管理遷移操作,給流程工業(yè)MIS的開發(fā)帶來了很大的方便,為工業(yè)數(shù)據(jù)的綜合分析提供了很