基于Spark并行計(jì)算框架的高鐵走行部振動(dòng)數(shù)據(jù)處理方法研究.pdf

1、高鐵的安全問題越來越受到人們關(guān)注，通過安裝在高鐵上的傳感器可以采集到列車運(yùn)行過程中的振動(dòng)信號。分析和處理采集到的振動(dòng)信號，可以對列車運(yùn)行過程中出現(xiàn)的故障進(jìn)行診斷。為了保證列車的運(yùn)行安全，在列車上安裝的傳感器越來越多。這些傳感器可以采集列車運(yùn)行過程中大量的振動(dòng)數(shù)據(jù)。如何快速地在這樣大量的振動(dòng)數(shù)據(jù)中進(jìn)行特征提取和分類識別成為了一個(gè)亟待解決的難題。
　　Spark作為基于分布式內(nèi)存計(jì)算的大數(shù)據(jù)處理框架，它具有獨(dú)特優(yōu)勢。它既可以從HDFS

2、上讀取文件也可以從本地文件系統(tǒng)讀取文件。它借助類似于MapReduce的編程思想進(jìn)行編程。它利用分而治之的思想，將任務(wù)劃分到不同的Worker上進(jìn)行執(zhí)行，最后將執(zhí)行結(jié)果匯總到Master上。經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)適用于將非線性非平穩(wěn)的信號分解為若干個(gè)固有模態(tài)函數(shù)之和，它在信號分析和處理領(lǐng)域起著至關(guān)重要的作用。集合經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)是對EMD的改進(jìn)，它在原始分解信號中加入高斯白噪聲，可以消除EMD在分解過程中出現(xiàn)的模態(tài)混疊線性。

3、r>　　本文借助大數(shù)據(jù)處理框架Spark基于分布式的內(nèi)存運(yùn)算、彈性式分布式數(shù)據(jù)集等特點(diǎn)，提出了基于Spark的并行化EEMD算法、并行化能量矩的構(gòu)建和并行KNN分類算法，并利用實(shí)際數(shù)據(jù)進(jìn)行算法評測，首先通過與單機(jī)上的EEMD分解結(jié)果進(jìn)行對比以驗(yàn)證并行化EEMD算法的正確性，然后Speedup、Sizeup、Scaleup三個(gè)指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行分析，得到并行化EEMD分解、并行能量矩的構(gòu)建和并行化KNN分類算法在三個(gè)指標(biāo)上都有良好的效果，