大數據云中心建設項目技術規(guī)范v1

1、數據中心建設功能要求數據中心建設功能要求一、數據服務中心建設規(guī)劃一、數據服務中心建設規(guī)劃數據服務中心是整個智慧旅游大數據項目核心組成部分，在規(guī)劃建設過程中，堅持以數據資源為核心，面向數據應用與服務、信息數據資源標準化與管理，實現數據資源橫向集成、縱向貫通、全局共享的運轉模式。數據服務中心數據流轉圖和邏輯架構如下圖。數服務中心邏輯架構圖整個數據服務中心邏輯組成部分有：數據存儲、數據組織、數據處理、資源管理、數據服務支撐。數據存儲：基于大規(guī)

2、模并行處理（MassivelyParallelProcessing，簡稱MPP）、Hadoop等分布式計算平臺進行搭建，以滿足旅游行業(yè)結構化、圖像視音頻等非結構化多種類型格式的海量力的旅游大數據平臺技術支撐體系。有效匯總整合內外部數據資源，實現對數據資源的統一管理、高度共享和高效利用，解決數據資源海量化、異構化，應用需求多樣化、復雜化等現實問題，進一步提升信息資源開發(fā)利用水平，提升信息資源服務的能力和服務品質，深層次滿足上層業(yè)務應用、管

3、理決策支持和信息再生應用的需要，達到強化情報信息數據支撐，服務實戰(zhàn)應用的目的。完整的大數據集群完整的大數據集群應當包含4大部分：ETL集群、MPP集群、Hadoop集群和數據倉庫，提供從數據抽取、清洗、轉換、加載到數據存儲計算及數據倉庫建設的一整套完整的大數據解決方案。各節(jié)點通過萬兆網口連接，滿足集群網絡IO密集型的要求。?ETLETL集群集群建議不少于1個節(jié)點，完成從各種數據源抽取、清洗、轉化和加載數據到大數據集群的工作。?MPPMP