基于Hadoop的MBR膜污染數(shù)據(jù)的分析與仿真預(yù)測(cè)研究.pdf

1、膜生物反應(yīng)器(MBR)是將膜分離技術(shù)與生物反應(yīng)器技術(shù)相結(jié)合的一種污水處理工藝，在污水處理方面具有很大的優(yōu)勢(shì)和巨大的發(fā)展空間。實(shí)驗(yàn)研究表明膜污染嚴(yán)重阻礙MBR的發(fā)展，膜污染導(dǎo)致的直接現(xiàn)象是膜通量的減小。為了更好的監(jiān)測(cè)膜污染的情況，從膜通量入手，通過對(duì)MBR膜污染機(jī)理的分析和研究，確定MBR膜通量的主要影響因素，并利用實(shí)驗(yàn)和實(shí)際的MBR工藝獲得影響MBR膜通量因素的真實(shí)數(shù)據(jù)。
　　為了解決MBR膜污染數(shù)據(jù)的存儲(chǔ)和分析問題，引入當(dāng)今的主

2、流大數(shù)據(jù)云計(jì)算平臺(tái)Hadoop。Hadoop是一個(gè)可靠的、高容錯(cuò)的、可擴(kuò)展的分布式計(jì)算平臺(tái)，其核心包括分布式文件系統(tǒng)HDFS和計(jì)算框架MapReduce?；贖adoop的優(yōu)勢(shì)，結(jié)合數(shù)據(jù)倉庫Hive，將數(shù)據(jù)存儲(chǔ)在、HDFS上，構(gòu)建分布式大規(guī)模MBR膜污染存儲(chǔ)和分析平臺(tái)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的管理。由于Hive是基于Hadoop的MapReduce計(jì)算框架的，具有很高的延時(shí)性，因此采用Impala做實(shí)時(shí)查詢和分析。但是Impala并不支持所有Hiv

3、e所支持的功能，并且依賴Hive，最終采用兩者結(jié)合的方式，使用Impala做實(shí)時(shí)分析，Hive進(jìn)行批處理作業(yè)。鑒于Hive的高延時(shí)性，為了獲得更好的用戶體驗(yàn)，通過TCP/IP通信和Java多線程技術(shù)獲取Linux的標(biāo)準(zhǔn)輸出和錯(cuò)誤輸出，實(shí)現(xiàn)對(duì)Hive查詢和分析進(jìn)度的監(jiān)控。
　　利用Hadoop平臺(tái)實(shí)現(xiàn)了MBR數(shù)據(jù)的管理，另外為了實(shí)現(xiàn)對(duì)膜通量的仿真預(yù)測(cè)，引入最小二乘支持向量機(jī)(LSSVM)，針對(duì)LSSVM參數(shù)人為選擇的盲目性，采用粒子