基于Hadoop的動(dòng)車(chē)組故障診斷關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著我國(guó)高速鐵路近年來(lái)的不斷發(fā)展，動(dòng)車(chē)組已經(jīng)開(kāi)始大規(guī)模投入使用，現(xiàn)階段已經(jīng)積累了海量的動(dòng)車(chē)組運(yùn)行狀況數(shù)據(jù)并以TB數(shù)量級(jí)增長(zhǎng)。如何利用海量的動(dòng)車(chē)組故障數(shù)據(jù)進(jìn)行分析，并進(jìn)一步指導(dǎo)動(dòng)車(chē)組維修和保養(yǎng)工作，這對(duì)于動(dòng)車(chē)組故障診斷具有重大意義。然而高速鐵路動(dòng)車(chē)組運(yùn)行狀況數(shù)據(jù)具有多樣化、容量大、復(fù)雜度高、速度快等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)挖掘算法效率低下，實(shí)時(shí)性差，已經(jīng)無(wú)法滿足目前對(duì)于動(dòng)車(chē)組關(guān)鍵部件故障診斷應(yīng)用的需求。因此本文提出引入Hadoop分布式計(jì)算框架，

2、該框架的Map/Reduce編程模型能夠根據(jù)動(dòng)車(chē)組數(shù)據(jù)的特點(diǎn)有針對(duì)性地解決現(xiàn)階段動(dòng)車(chē)組故障診斷中的存在的不足，因此有一定的理論和現(xiàn)實(shí)意義。
　　本文提出了基于Hadoop分布式框架的動(dòng)車(chē)組故障診斷大數(shù)據(jù)解決方案，并通過(guò)對(duì)基于Hadoop的C4.5分類算法的優(yōu)化為提高動(dòng)車(chē)組故障診斷的效率提供了有效方法，并在實(shí)際應(yīng)用中得到了驗(yàn)證。
　　本論文的工作有以下幾方面:
　　(1)在分析了MapReduce分布式計(jì)算框架、分布式文

3、件系統(tǒng)HDFS、數(shù)據(jù)倉(cāng)庫(kù)Hive等Hadoop核心技術(shù)的基礎(chǔ)上，給出了基于Hadoop的動(dòng)車(chē)組故障分析大數(shù)據(jù)解決方案，搭建了Hadoop集群環(huán)境。
　　(2)在算法選擇上分析了原始C4.5算法在基于Hadoop平臺(tái)動(dòng)車(chē)組故障診斷中存在的不足，提出了兩種改進(jìn)算法并分別在準(zhǔn)確性及可擴(kuò)展性方面對(duì)原始C4.5算法進(jìn)行了性能改進(jìn)，集群的負(fù)載均衡能力得到提高。
　　(3)將改進(jìn)后的算法應(yīng)用于本實(shí)驗(yàn)室的動(dòng)車(chē)組故障真實(shí)數(shù)據(jù)場(chǎng)景下，并產(chǎn)生了相