基于Spark Streaming的試驗(yàn)數(shù)據(jù)處理系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著科技的迅猛發(fā)展，走在科技前沿的航空航天領(lǐng)域產(chǎn)生的數(shù)據(jù)量正在以指數(shù)級飛速增長，其處理速度方面面臨著巨大挑戰(zhàn)。課題研究初期，面對數(shù)百GB的二進(jìn)制試驗(yàn)數(shù)據(jù)，采用MapReduce并行計(jì)算框架實(shí)現(xiàn)的多機(jī)多線程進(jìn)行解析計(jì)算，其性能遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)的單機(jī)多線程方式的處理能力，很大程度上解決了長時間延遲短板。但是，采用MapReduce仍然存在著以下問題：耗費(fèi)大量非必要時間提前將完整二進(jìn)制數(shù)據(jù)上傳至分布式文件系統(tǒng)HDFS；計(jì)算結(jié)果數(shù)據(jù)無法實(shí)時展示；

2、面對規(guī)模列表數(shù)據(jù)的計(jì)算，采用的仍是單機(jī)多線程從HDFS上取數(shù)據(jù)再計(jì)算并緩存的方法，具有較大的性能局限性。
　　本文首先從架構(gòu)方面進(jìn)行改進(jìn)。設(shè)計(jì)基于Kafka、Spark Streaming、Redis分布式架構(gòu)，進(jìn)行實(shí)時數(shù)據(jù)采集、實(shí)時解析計(jì)算以及實(shí)時緩存。數(shù)據(jù)采集由三部分組成，分別是消息隊(duì)列、消息數(shù)據(jù)的生產(chǎn)者與消費(fèi)者，其中生產(chǎn)者是分布在不同試驗(yàn)場區(qū)的數(shù)據(jù)采集點(diǎn)。采用Kafka消息隊(duì)列實(shí)現(xiàn)各試驗(yàn)子系統(tǒng)間高速、低延遲的大規(guī)模數(shù)據(jù)采集，

3、降低系統(tǒng)之間的組網(wǎng)復(fù)雜度；實(shí)時解析計(jì)算引擎 Spark Streaming作為消息隊(duì)列的消費(fèi)者，將從不同試驗(yàn)場區(qū)采集到的二進(jìn)制數(shù)據(jù)作為解析計(jì)算引擎的輸入，將流式數(shù)據(jù)按照每2秒一個間隔為單位劃分成一段一段的數(shù)據(jù)，并將每段數(shù)據(jù)轉(zhuǎn)換成解析計(jì)算引擎能夠使用的彈性分布式數(shù)據(jù)集（RDD， Resilient Distributed Dataset），然后將解析計(jì)算引擎中對流式數(shù)據(jù)的處理轉(zhuǎn)換為Spark能夠進(jìn)行解析計(jì)算的數(shù)據(jù)集的操作，經(jīng)過解析計(jì)算，將

4、計(jì)算結(jié)果保存到非關(guān)系型內(nèi)存數(shù)據(jù)庫Redis中；使用Redis實(shí)現(xiàn)計(jì)算結(jié)果的快速緩存，避免數(shù)據(jù)寫入到硬盤，為計(jì)算結(jié)果的實(shí)時展示提供保障。其次在提出整個分布式系統(tǒng)架構(gòu)的基礎(chǔ)上，對數(shù)據(jù)采集和解析計(jì)算的性能進(jìn)行分析與調(diào)優(yōu)。通過采用Topic多分區(qū)（Parititon）、緩存發(fā)送數(shù)據(jù)并壓縮等方法從消息隊(duì)列架構(gòu)與數(shù)據(jù)發(fā)送兩方面進(jìn)行數(shù)據(jù)采集過程的調(diào)優(yōu)。通過平衡Spark Streaming數(shù)據(jù)接收時間窗口與速度、采用Redis連接池等策略，從數(shù)據(jù)消費(fèi)