基于內(nèi)存計算的流數(shù)據(jù)處理在飛行大數(shù)據(jù)的研究與應(yīng)用.pdf

1、大飛機進行試飛測試，能夠產(chǎn)生海量的試飛數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)離線處理方式效率低下，延遲了試飛周期，增加試飛成本。為了能夠高效的分析處理這些數(shù)據(jù)，本文設(shè)計并實現(xiàn)了一個基于內(nèi)存計算的流數(shù)據(jù)處理的試飛數(shù)據(jù)處理系統(tǒng)。本文中的試飛數(shù)據(jù)處理系統(tǒng)，采用數(shù)據(jù)實時處理方式，依靠內(nèi)存計算和流計算的高效性，顯著提升數(shù)據(jù)處理效率。此外，本文提出了一種基于Markov的內(nèi)存預(yù)測動態(tài)分配方法和一種基于時序排隊的流數(shù)據(jù)處理方法，結(jié)合Spark分布式內(nèi)存計算框架，隨機過程和

2、排隊論等相關(guān)知識，改進了原有內(nèi)存計算和流計算的處理方式，可以加快海量試飛大數(shù)據(jù)的處理和流轉(zhuǎn)速度，提高數(shù)據(jù)的價值。
　　本文提出了一種基于Markov的內(nèi)存預(yù)測動態(tài)分配方法，通過采用多馬爾科夫鏈方式，根據(jù)其狀態(tài)轉(zhuǎn)移概率，求得其最大概率的轉(zhuǎn)換情形，預(yù)測出最有可能需求的內(nèi)存大小，能夠節(jié)省內(nèi)存分配的查詢時間，降低內(nèi)存碎片率。本文同時提出了一種基于時序排隊的流數(shù)據(jù)處理方法，通過對帶時間戳的流數(shù)據(jù)按照時序進行排隊，從而能夠按照試飛數(shù)據(jù)的處理要

3、求進行按序處理，同時提升流數(shù)據(jù)的處理效率。
　　本文設(shè)計并實現(xiàn)了的一個基于內(nèi)存計算的流數(shù)據(jù)處理的試飛數(shù)據(jù)處理系統(tǒng)，主要包括了數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預(yù)處理子系統(tǒng)、數(shù)據(jù)分析子系統(tǒng)、綜合管理子系統(tǒng)等四個主要子系統(tǒng)。數(shù)據(jù)采集子系統(tǒng)主要負責(zé)進行機載原始數(shù)據(jù)的采集工作，并結(jié)合時間戳，形成時序原始數(shù)據(jù)；數(shù)據(jù)預(yù)處理子系統(tǒng)主要負責(zé)將原始數(shù)據(jù)進行格式轉(zhuǎn)換，通過幀格式轉(zhuǎn)換、工程量轉(zhuǎn)換和流數(shù)據(jù)轉(zhuǎn)換，最終形成所需的流數(shù)據(jù)；數(shù)據(jù)分析子系統(tǒng)主要負責(zé)進行數(shù)據(jù)整理和

4、數(shù)值運算，可以結(jié)合各種算法，完成數(shù)據(jù)訓(xùn)練和數(shù)據(jù)的計算，最后得到試飛結(jié)果；綜合管理子系統(tǒng)主要包括系統(tǒng)二次開發(fā)、系統(tǒng)管理和數(shù)據(jù)管理三方面，能夠?qū)ο到y(tǒng)和數(shù)據(jù)進行有效的綜合管理使用，以及二次開發(fā)。
　　本文通過試飛數(shù)據(jù)處理系統(tǒng)和 Spark分布式內(nèi)存計算框架結(jié)合，充分利用Spark對于海量計算的優(yōu)勢，并采用基于Markov的內(nèi)存預(yù)測動態(tài)分配方法來提升Spark內(nèi)存計算時內(nèi)存分配的效率，采用基于時序排隊的流數(shù)據(jù)處理方法來提升Spark St