基于Hadoop的管道網(wǎng)絡(luò)分布式實時計算及應(yīng)用.pdf

1、隨著社會的進步和科技的發(fā)展，在石油化工工業(yè)的領(lǐng)域，管道網(wǎng)絡(luò)通常是十分復(fù)雜的，并且管徑大小也是各不相同。現(xiàn)場是通過管道網(wǎng)絡(luò)把這些不同的設(shè)備連接在一起，形成了一個巨大且復(fù)雜又相互有聯(lián)系的管網(wǎng)系統(tǒng)。像這種龐大而又復(fù)雜的管道網(wǎng)絡(luò)要進行系統(tǒng)的動態(tài)仿真，對于設(shè)計的計算平臺需要面對的是實時計算通用性，實時性和復(fù)雜性的問題。要實現(xiàn)實時性是十分困難的，所以本文從兩方面去實現(xiàn)實時性，一是設(shè)置適當?shù)某跏贾担@樣可以讓計算迭代的時候更加快速的收斂，二是程序設(shè)計

2、時引入智能體Agent的概念，利用現(xiàn)在比較成熟的分布式計算框架Hadoop去分布式計算迭代，縮短計算的時間。
　　首先，是有關(guān)初始值設(shè)置的問題。因為是采用圖論的方法去進行管道網(wǎng)絡(luò)的計算，現(xiàn)實情況無法達到實時計算的要求，所以采用了線性化初值設(shè)置的方法，將疊加原理用到管網(wǎng)初值設(shè)置的方法上，經(jīng)過簡單的估算可以得到與初始值相近的估算值。然后經(jīng)過大量的實驗驗證方法是可行的，很好縮短了迭代的次數(shù)，減少了計算所需要的時間。
　　其次，是分

3、布式管道網(wǎng)絡(luò)計算模型。采用圖論的方法進行管道網(wǎng)絡(luò)仿真的計算，對于石油化工現(xiàn)場的管網(wǎng)來說，可能會產(chǎn)生大矩陣。那么在計算迭代過程中，會涉及到大矩陣的運算。還有就是對于石油化工行業(yè)來說，這些龐大而又復(fù)雜的管網(wǎng)連接的是很多其它的設(shè)備。對于仿真平臺來說，如果把這些設(shè)備的計算都放到一臺計算機上，顯然計算機的運算量是不夠的。本文采用了現(xiàn)在比較成熟且開源的分布式計算框架Hadoop來進行管網(wǎng)圖論的運算，還可以利用Hadoop實現(xiàn)連接設(shè)備計算分配的負載均

4、衡，把大的計算量分配到集群中比較空閑的結(jié)點。
　　再次，本文所搭建的管網(wǎng)仿真平臺是給學(xué)生或者工人在線進行學(xué)習(xí)訓(xùn)練的仿真平臺，BS架構(gòu)的分布式管網(wǎng)仿真平臺，服務(wù)器的是現(xiàn)在Nginx+tomcat搭建的分布式架構(gòu)服務(wù)器架構(gòu)，數(shù)據(jù)庫用的是Mysql+HBase，其中mysql作為關(guān)系型數(shù)據(jù)庫適合事務(wù)的處理，HBase是面向列的數(shù)據(jù)庫，存儲大量數(shù)據(jù)。在程序計算設(shè)計時引入Agent的概念，并且基于Agent進行建模和分類。
　　最后，