數(shù)據(jù)倉庫建設(shè)方案

1、第162016DAFSA號公開招標方案建議書第1章數(shù)據(jù)倉庫建設(shè)數(shù)據(jù)倉庫建設(shè)1.1數(shù)據(jù)倉庫總體架構(gòu)數(shù)據(jù)倉庫總體架構(gòu)專家系統(tǒng)接收增購項目車輛TCMS或其他子系統(tǒng)通過車地通信傳輸?shù)膶崟r或離線數(shù)據(jù)，經(jīng)過一系列綜合診斷分析，以各種報表圖形或信息推送的形式向用戶展示分析結(jié)果。針對診斷出的車輛故障將給出專家建議處理措施，為車輛的故障根因修復(fù)提供必要的支持。根據(jù)專家系統(tǒng)數(shù)據(jù)倉庫建設(shè)目標，結(jié)合系統(tǒng)數(shù)據(jù)業(yè)務(wù)規(guī)范，包括數(shù)據(jù)采集頻率、數(shù)據(jù)采集量等相關(guān)因素，設(shè)計

2、專家系統(tǒng)數(shù)據(jù)倉庫架構(gòu)如下：數(shù)據(jù)倉庫架構(gòu)從層次結(jié)構(gòu)上分為數(shù)據(jù)采集、數(shù)據(jù)存、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等幾個方面的內(nèi)容：數(shù)據(jù)采集：負責(zé)從各業(yè)務(wù)自系統(tǒng)中匯集信息數(shù)據(jù)，系統(tǒng)支撐Kafka、Stm、第162016DAFSA號公開招標方案建議書1.2.1.1數(shù)據(jù)匯集架構(gòu)功能數(shù)據(jù)匯集架構(gòu)功能Flume提供了從console(控制臺)、RPC(ThriftRPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統(tǒng)，支持TCP和

3、UDP等2種模式)，exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力。Flume的數(shù)據(jù)接受方，可以是console(控制臺)、text(文件)、dfs(HDFS文件)、RPC(ThriftRPC)和syslogTCP(TCPsyslog日志系統(tǒng))等。在我們系統(tǒng)中由kafka來接收。Kafka分布式消息隊列，支撐系統(tǒng)性能橫向擴展，通過增加broker來提高系統(tǒng)的性能。Stm流處理技術(shù)，支撐Supervis橫向擴展以提高系統(tǒng)的擴展性和數(shù)據(jù)處理的