hadoop大數(shù)據(jù)平臺-建設(shè)要求及應(yīng)答方案

1、Hadoop大數(shù)據(jù)平臺建設(shè)要求及應(yīng)答方案1大數(shù)據(jù)平臺技術(shù)規(guī)范要求高度集成的Hadoop平臺：一個(gè)整體的數(shù)據(jù)存儲和計(jì)算平臺，無縫集成了基于Hadoop的大量生態(tài)工具，不同業(yè)務(wù)可以集中在一個(gè)平臺內(nèi)完成，而不需要在處理系統(tǒng)間移動數(shù)據(jù)；用廉價(jià)的PC服務(wù)器架構(gòu)統(tǒng)一的存儲平臺，能存儲PB級海量數(shù)據(jù)。并且數(shù)據(jù)種類可以是結(jié)構(gòu)化，半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)。存儲的技術(shù)有SQL及NoSQL，并且NoSQL能提供企業(yè)級的安全方案。CDH提供統(tǒng)一的資源調(diào)度平臺，能

2、夠利用最新的資源調(diào)度平臺YARN分配集群中CPU內(nèi)存等資源的調(diào)度，充分利用集群資源；多樣的數(shù)據(jù)分析平臺–能夠針對不用的業(yè)務(wù)類型提供不同的計(jì)算框架，比如針對批處理的MapReduce計(jì)算框架；針對交互式查詢的ImpalaMPP查詢引擎；針對內(nèi)存及流計(jì)算的Spark框架；針對機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘等業(yè)務(wù)的訓(xùn)練測試模型；針對全文檢索的Solr搜索引擎項(xiàng)目中所涉及的軟件包括：?Hadoop軟件（包括而不限于Hadoop核心）?數(shù)據(jù)采集層：Apach

3、eFlumeApacheSqoop?平臺管理：ZookeeperYARN?安全管理：ApacheSentry?數(shù)據(jù)存儲：HDFSHBaseParquet?數(shù)據(jù)處理：MapReduceImpalaSpark?開發(fā)套件：ApacheHueKiteSDK?關(guān)系型數(shù)據(jù)庫系統(tǒng)：SAPHANA企業(yè)版?ETL工具：SAPDataServices數(shù)據(jù)管控系統(tǒng)的二次開發(fā)量如下：?主數(shù)據(jù)管理功能通過二次開發(fā)的方式實(shí)現(xiàn)主數(shù)據(jù)管理功能，并集成甲方已有的主數(shù)據(jù)管