油氣物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)管理的研究.pdf

1、隨著物聯(lián)網(wǎng)技術(shù)在油氣生產(chǎn)中的應(yīng)用不斷深入，安裝于井場(chǎng)的儀表通過(guò)檢查、測(cè)量、分析、計(jì)算所得到的現(xiàn)場(chǎng)數(shù)據(jù)由 RTU上傳至井控 SCADA系統(tǒng)，以便對(duì)油氣生產(chǎn)過(guò)程進(jìn)行數(shù)據(jù)展示、遠(yuǎn)程監(jiān)控與管理。這些實(shí)時(shí)數(shù)據(jù)被存放在實(shí)時(shí)數(shù)據(jù)庫(kù)中和歷史數(shù)據(jù)庫(kù)中，為了便于管理和組織這些實(shí)時(shí)數(shù)據(jù)，需要將這些基于標(biāo)簽存儲(chǔ)的工業(yè)實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為適合分析的業(yè)務(wù)數(shù)據(jù)，利用這些分析型業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)告警和預(yù)警等決策，便于查詢(xún)和二次決策。本文針對(duì)實(shí)時(shí)數(shù)據(jù)的分類(lèi)處理和管理過(guò)程設(shè)計(jì)了應(yīng)用服

2、務(wù)層和生產(chǎn)數(shù)據(jù)采集層之間的開(kāi)放式結(jié)構(gòu)——實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)。
　　首先，以油氣物聯(lián)網(wǎng)項(xiàng)目中實(shí)時(shí)數(shù)據(jù)的組織、發(fā)布、生產(chǎn)單元分類(lèi)處理為需求，在深入考慮實(shí)時(shí)數(shù)據(jù)在油氣物聯(lián)網(wǎng)生產(chǎn)中的數(shù)據(jù)采集、傳輸、存儲(chǔ)及存儲(chǔ)標(biāo)準(zhǔn)的基礎(chǔ)上，研究了實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)功能以及如何劃分系統(tǒng)模塊，同時(shí)分析了實(shí)時(shí)數(shù)據(jù)處理過(guò)程中的不足，包括存儲(chǔ)過(guò)程中數(shù)據(jù)量敏感、存儲(chǔ)成本高，數(shù)據(jù)采集與應(yīng)用的頻度相對(duì)固定、不易調(diào)整，數(shù)據(jù)丟失后，難以恢復(fù)等問(wèn)題。
　　其次，對(duì)目前基于多線程

3、的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)進(jìn)行了性能測(cè)試，性能測(cè)試包括基準(zhǔn)測(cè)試，負(fù)載測(cè)試和持續(xù)性測(cè)試。重點(diǎn)分析了負(fù)載測(cè)試中實(shí)時(shí)數(shù)據(jù)的主要功能區(qū)單井檢測(cè)頁(yè)的健康度、最大響應(yīng)時(shí)間、最小響應(yīng)時(shí)間、平均響應(yīng)時(shí)間以及響應(yīng)錯(cuò)誤碼。由實(shí)驗(yàn)結(jié)果可知，由于采集及處理環(huán)節(jié)的復(fù)雜性，傳統(tǒng)的多線程處理實(shí)時(shí)數(shù)據(jù)的方式導(dǎo)致了系統(tǒng)的響應(yīng)速度會(huì)隨著用戶(hù)數(shù)的增加而變的很慢，為了加速數(shù)據(jù)處理和響應(yīng)的實(shí)時(shí)速度，本文設(shè)計(jì)了一套基于Hadoop平臺(tái)的實(shí)時(shí)數(shù)據(jù)處理及轉(zhuǎn)換系統(tǒng)。
　　最后，對(duì)比目前常