大數據環(huán)境下動車組故障關聯(lián)關系分析關鍵技術研究與實現.pdf

1、隨著動車組的高速發(fā)展和大規(guī)模的使用，動車組已經成為了鐵路客運和貨運的重要工具，具有高效、安全、快速、高標準的服務功能，在交通中起到的重要作用也易于凸顯。我國高速鐵路經過十多年的運營，積累了大量的故障數據，且每天都在收到新的數據，如何從中挖掘出有效的信息和知識，為動車組運行安全、故障診斷和維修等工作提供決策支持，具有重大意義。近年來，高速動車組技術飛速發(fā)展，數據累積呈現出指數級的增長趨勢，傳統(tǒng)的關聯(lián)規(guī)則挖掘算法很難滿足需求。基于此，本文將

2、關聯(lián)規(guī)則挖掘算法Eclat算法與目前流行的云計算平臺MapReduce結合，把海量的動車組故障數據關聯(lián)規(guī)則挖掘任務分解到集群中的多臺計算機上并行處理，提高了關聯(lián)規(guī)則挖掘的效率。
　　通常數據庫有水平數據表示和垂直數據表示兩種形式，常見的關聯(lián)規(guī)則算法Apriori算法和FP-Growth算法都是基于水平數據表示的。Eclat算法是首個采用垂直數據表示的關聯(lián)挖掘算法。Eclat算法在項集規(guī)模龐大時，交集操作消耗大量時間和系統(tǒng)內存。本文

3、首先對Eclat算法進行了深入的研究和分析，針對Eclat算法在挖掘海量數據中的頻繁項目集時存在的內存和計算資源不足等問題，提出基于MapReduce的改進算法，并應用于動車組故障關聯(lián)規(guī)則挖掘，相對于傳統(tǒng)挖掘算法，效率有顯著提升。
　　本論文最后還針對動車組故障等級劃分，故障數據重要性不一致提出了加權的關聯(lián)規(guī)則挖掘算法，剔除挖掘結果中沒有意義的關聯(lián)規(guī)則，優(yōu)先挖掘出包含高等級故障的規(guī)則，符合現實要求，對動車組故障檢測和預防，故障的快