基于Hadoop的煤礦設(shè)備數(shù)據(jù)規(guī)范化和清洗的研究.pdf

1、論文題目：基于Hadoop的煤礦設(shè)備數(shù)據(jù)規(guī)范化和清洗的研究專業(yè)：機械電子工程碩士生：陳少龍（簽名）指導教師：馬宏偉（簽名）摘要隨著網(wǎng)絡(luò)信息化技術(shù)快速發(fā)展和煤礦機械設(shè)備日趨大型化、復雜化，煤礦設(shè)備的運行數(shù)據(jù)規(guī)模不斷地擴展，數(shù)據(jù)量從GB級邁向TB級甚至PB級，而且數(shù)據(jù)的差異性也越來越大。對于這種煤礦設(shè)備的海量異構(gòu)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析處理系統(tǒng)已經(jīng)不能滿足數(shù)據(jù)處理和深度挖掘的需求，云計算技術(shù)可以高效地實現(xiàn)對這些問題處理。針對現(xiàn)有煤礦機械設(shè)備系統(tǒng)

2、的實際情況和需求，分析云計算技術(shù)在工業(yè)化生產(chǎn)中廣泛有效的應(yīng)用，建立了基于Hadoop平臺的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng)，利用平臺的海量存儲HDFS和分布式計算Mapreduce技術(shù)，實現(xiàn)對這些海量級數(shù)據(jù)的處理、分析和深度挖掘。首先，針對煤礦設(shè)備海量異構(gòu)格式的數(shù)據(jù)需要規(guī)范化描述問題，設(shè)計了用XML數(shù)據(jù)格式做為多樣化海量數(shù)據(jù)的一種應(yīng)用標準，分析元數(shù)據(jù)抽取和關(guān)系—映射模型技術(shù)，實現(xiàn)對煤礦設(shè)備異構(gòu)數(shù)據(jù)的規(guī)范化描述。其次，在實驗室環(huán)境下搭建了Linux集

3、群和Hadoop集群的平臺，建立基于Hadoop的煤礦設(shè)備系統(tǒng)數(shù)據(jù)處理系統(tǒng)，并對平臺所用到HDFS技術(shù)和分布式計算Mapreduce技術(shù)進行了詳細分析，實現(xiàn)對煤礦設(shè)備數(shù)據(jù)的海量存儲和高效計算。最后，在Hadoop平臺上建立對煤礦設(shè)備振動數(shù)據(jù)進行特征值提取和異常點清洗的整體架構(gòu)，并提出了相應(yīng)的Mapreduce算法，可以有效地實現(xiàn)對煤礦機械設(shè)備振動數(shù)據(jù)的處理。通過利用該系統(tǒng)平臺對設(shè)備數(shù)據(jù)進行HDFS的讀寫和Mapreduce處理等性能測試

4、，結(jié)果表明，Hadoop平臺系統(tǒng)能夠正常高效運行。因此，基于Hadoop的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng)能夠為煤礦設(shè)備維護提供很好的技術(shù)支持。關(guān)鍵詞：煤礦設(shè)備；規(guī)范化描述；特征值提?。粩?shù)據(jù)清洗；Hadoop研究類型：應(yīng)用研究thesystemrunnmalefficient.ThisarticlebasedonthecoalmineequipmentofHadoopdataprocessingsystemcaneffectivelyadapted