大數(shù)據(jù)環(huán)境下動(dòng)車(chē)組故障關(guān)聯(lián)關(guān)系分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著動(dòng)車(chē)組的高速發(fā)展和大規(guī)模的使用，動(dòng)車(chē)組已經(jīng)成為了鐵路客運(yùn)和貨運(yùn)的重要工具，具有高效、安全、快速、高標(biāo)準(zhǔn)的服務(wù)功能，在交通中起到的重要作用也易于凸顯。我國(guó)高速鐵路經(jīng)過(guò)十多年的運(yùn)營(yíng)，積累了大量的故障數(shù)據(jù)，且每天都在收到新的數(shù)據(jù)，如何從中挖掘出有效的信息和知識(shí)，為動(dòng)車(chē)組運(yùn)行安全、故障診斷和維修等工作提供決策支持，具有重大意義。近年來(lái)，高速動(dòng)車(chē)組技術(shù)飛速發(fā)展，數(shù)據(jù)累積呈現(xiàn)出指數(shù)級(jí)的增長(zhǎng)趨勢(shì)，傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法很難滿足需求?；诖?，本文將

2、關(guān)聯(lián)規(guī)則挖掘算法Eclat算法與目前流行的云計(jì)算平臺(tái)MapReduce結(jié)合，把海量的動(dòng)車(chē)組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘任務(wù)分解到集群中的多臺(tái)計(jì)算機(jī)上并行處理，提高了關(guān)聯(lián)規(guī)則挖掘的效率。
　　通常數(shù)據(jù)庫(kù)有水平數(shù)據(jù)表示和垂直數(shù)據(jù)表示兩種形式，常見(jiàn)的關(guān)聯(lián)規(guī)則算法Apriori算法和FP-Growth算法都是基于水平數(shù)據(jù)表示的。Eclat算法是首個(gè)采用垂直數(shù)據(jù)表示的關(guān)聯(lián)挖掘算法。Eclat算法在項(xiàng)集規(guī)模龐大時(shí)，交集操作消耗大量時(shí)間和系統(tǒng)內(nèi)存。本文

3、首先對(duì)Eclat算法進(jìn)行了深入的研究和分析，針對(duì)Eclat算法在挖掘海量數(shù)據(jù)中的頻繁項(xiàng)目集時(shí)存在的內(nèi)存和計(jì)算資源不足等問(wèn)題，提出基于MapReduce的改進(jìn)算法，并應(yīng)用于動(dòng)車(chē)組故障關(guān)聯(lián)規(guī)則挖掘，相對(duì)于傳統(tǒng)挖掘算法，效率有顯著提升。
　　本論文最后還針對(duì)動(dòng)車(chē)組故障等級(jí)劃分，故障數(shù)據(jù)重要性不一致提出了加權(quán)的關(guān)聯(lián)規(guī)則挖掘算法，剔除挖掘結(jié)果中沒(méi)有意義的關(guān)聯(lián)規(guī)則，優(yōu)先挖掘出包含高等級(jí)故障的規(guī)則，符合現(xiàn)實(shí)要求，對(duì)動(dòng)車(chē)組故障檢測(cè)和預(yù)防，故障的快