解決方案_智慧城市_47_水務(wù)大腦大數(shù)據(jù)和數(shù)字孿生平臺項目方案

1、水 務(wù) 大 腦 大數(shù)據(jù)和數(shù)字孿生平臺 大數(shù)據(jù)和數(shù)字孿生平臺項目 項目 （第一部分） 第一部分） 項目背景 項目背景 XXX 公司作為 YYY 市水務(wù)集團發(fā)展新興戰(zhàn)略性產(chǎn)業(yè)的重要載體，承擔(dān)著面向 水務(wù)行業(yè)智慧化發(fā)展的重任。 水務(wù)大腦的研發(fā)和應(yīng)用推廣是 XXX 公司實現(xiàn)戰(zhàn)略目 標的關(guān)鍵舉措。XXX 公司以自身能力為基礎(chǔ)，適當引入人工智能、大數(shù)據(jù)行業(yè)先進技術(shù)組件，構(gòu)建面向水務(wù)行業(yè)的智慧大腦。水務(wù)大腦的研發(fā)建設(shè)是以云計算、大數(shù)據(jù)、人

2、工智能、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和 5G 等新一代信息技術(shù)為支撐，參照YYY 市市和行業(yè)信息化建設(shè)的要求，形成以經(jīng)營服務(wù)領(lǐng)域、生產(chǎn)運營領(lǐng)域、設(shè)計施工領(lǐng)域、 管理管控領(lǐng)域為應(yīng)用基礎(chǔ)的水務(wù)大腦產(chǎn)品框架體系， 推動水務(wù)行業(yè)的生產(chǎn)數(shù)字化、管理系統(tǒng)化、決策科學(xué)化和服務(wù)個性化。 項目目標 項目目標 本期建設(shè)核心目標是構(gòu)建水務(wù)大腦產(chǎn)品體系的基礎(chǔ)技術(shù)平臺和重要智能模型，并基于技術(shù)平臺開發(fā)水務(wù)行業(yè)制水、供水領(lǐng)域的專用智能模型，滿足水務(wù)行業(yè)智能調(diào)度、安全管理等核

3、心需求。實現(xiàn)集團型企業(yè)信息系統(tǒng)數(shù)據(jù)、下屬公司信息系統(tǒng)數(shù)據(jù)匯聚、梳理需求，基于統(tǒng)一數(shù)據(jù)實現(xiàn)智慧應(yīng)用開發(fā)。 根據(jù)水務(wù)大腦建設(shè)的總體規(guī)劃，按照分批實施分步上線的思路建設(shè)，本期項目為基礎(chǔ)建設(shè)階段，主要包括如下內(nèi)容： 1、 建設(shè)水務(wù)大腦大數(shù)據(jù)平臺 2、 建設(shè)水務(wù)大腦數(shù)字孿生平臺 3、 基于兩個平臺的智慧應(yīng)用群部分內(nèi)容 功能需求 功能需求 水務(wù)大腦大數(shù)據(jù)平臺建設(shè) 水務(wù)大腦大數(shù)據(jù)平臺建設(shè) 統(tǒng)一大數(shù)據(jù)平臺基于數(shù)據(jù)集成、分布式數(shù)據(jù)存儲與管理、批&

4、;流數(shù)據(jù)開發(fā)、 實時多維分析、 跨源交互式分析、 數(shù)據(jù)可視化等技術(shù)為業(yè)主搭建完整的大數(shù)據(jù)技術(shù)體系，滿足針對水務(wù)領(lǐng)域的包括數(shù)據(jù)匯聚、多維數(shù)據(jù)分析、分布式高可用實時 分析等多種復(fù)雜應(yīng)用場景的應(yīng)用要求，需支持一站式數(shù)據(jù)集成、數(shù)據(jù)治理、可視k,Hue,Mahout,Sqoop 等。 平臺支持無成本接入業(yè)主現(xiàn)有的存儲、計算系統(tǒng)（對象存儲、HDFS 分布式 集群、Spark 集群等） ，平臺支持彈性擴縮容、靈活擴展存儲、計算集群，支持 靈活擴展計

5、算引擎。 任務(wù)調(diào)度管理 任務(wù)調(diào)度管理 針對統(tǒng)一大數(shù)據(jù)平臺中大量的數(shù)據(jù)計算任務(wù)， 平臺應(yīng)提供可視化作業(yè)調(diào)度和 管理功能，統(tǒng)一進行工作流程的安排、調(diào)度及跨項目的作業(yè)觸發(fā)執(zhí)行，滿足不同 條件的順序、 依賴等調(diào)度邏輯以完成各種復(fù)雜的業(yè)務(wù)計算， 提高作業(yè)運行的效率。平臺應(yīng)支持可視化作業(yè)編排，可視化拖拽將作業(yè)形成 DAG，按照圖的順序依 次調(diào)用，支持多任務(wù)類型，支持自定義任務(wù)類型，支持自定義程序包，支持周期 性調(diào)度，支持跳過、失敗重試等執(zhí)行策略設(shè)置

6、。 可視化開發(fā) 可視化開發(fā) Studio Studio 平臺應(yīng)通過可視化開發(fā)、拖拽式插件式開發(fā)、流水線作業(yè)、作業(yè)組編排等實 現(xiàn)數(shù)據(jù)開發(fā)的可視化。支持離線開發(fā)、實時流開發(fā)，在線 SQL、自定義 Jar 程序等開發(fā)模式，高吞吐低延遲的實時計算，全方位多角度的監(jiān)控告警機制等。平臺支持可視化數(shù)據(jù)處理開發(fā)，具備 10 種以上常用可視化數(shù)據(jù)處理開發(fā)組件。 資源監(jiān)控 資源監(jiān)控 對于開源大數(shù)據(jù)生態(tài)中各種復(fù)雜的組件，平臺需提供統(tǒng)一的一鍵式集群組件部署功能

7、，并且提供集群、主機、服務(wù)等多維度、詳細的監(jiān)控報警功能。 （3）元數(shù)據(jù)管理組件 ）元數(shù)據(jù)管理組件 元數(shù)據(jù)組件需包括內(nèi)容: 支持靈活定義主題、庫、表層級關(guān)系 基于技術(shù)元數(shù)據(jù)的數(shù)據(jù)權(quán)限管理（庫、表、行、列級別） 基于技術(shù)元數(shù)據(jù)的批、流、SQL 查詢、數(shù)據(jù)湖分析、聯(lián)邦查詢分析. （4）ETL ETL 組件 組件 ETL 組件負責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等 抽取到臨時中間層后進行清洗、 轉(zhuǎn)換、 集成， 最后加載到數(shù)據(jù)

8、倉庫或數(shù)據(jù)集市中， 成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 （5）大數(shù)據(jù)資源管理平臺 ）大數(shù)據(jù)資源管理平臺 1. 開源大數(shù)據(jù)組件 提供 Hadoop 生態(tài)大數(shù)據(jù)組件，包括：HDFS,Spark,FlinkHBase,MapReduce,Hive,YARN,Tez,Pig,Oozie,ZooKeeper,Storm,Flume,Kafka,Ranger,Zeppeli n Notebook,Hue,Mahout,Sqoop 等。 2. 需支持