基于Hadoop平臺的風(fēng)力發(fā)電機(jī)組振動數(shù)據(jù)存儲技術(shù)研究.pdf

1、風(fēng)力發(fā)電作為發(fā)展最快的新型清潔能源帶動了風(fēng)電技術(shù)的發(fā)展和廣泛應(yīng)用并促使風(fēng)電機(jī)組的規(guī)模不斷擴(kuò)大，由此產(chǎn)生的數(shù)據(jù)規(guī)模也隨之?dāng)U大。在風(fēng)電機(jī)組處于工作狀態(tài)時，其中的部件如齒輪箱、軸承等出現(xiàn)松動、磨損、異常等都會產(chǎn)生大量的振動數(shù)據(jù)，難以滿足對海量數(shù)據(jù)整理、分析、存儲需求，而且由于風(fēng)電機(jī)的發(fā)電系統(tǒng)和監(jiān)控設(shè)備的多樣性，各類設(shè)備都產(chǎn)生不同的數(shù)據(jù)格式或數(shù)據(jù)類型，大都以數(shù)據(jù)流的形式輸出。因此諸如Hadoop等云計(jì)算平臺提供了對海量高維數(shù)據(jù)分析和處理的方式，

2、為消耗大量資源的數(shù)據(jù)處理提供實(shí)時可靠相對廉價(jià)的計(jì)算資源。本文引入基于MapReduce的并行FFT算法和LZO壓縮相結(jié)合的技術(shù)，對數(shù)據(jù)進(jìn)行處理以降低網(wǎng)絡(luò)傳輸量、減少存儲所用空間。
　　快速傅里葉變換 FFT實(shí)現(xiàn)了信號從復(fù)雜的時域轉(zhuǎn)換到具備顯著特征的頻域上，與離散傅里葉變換DFT相比大大減少了運(yùn)算量，在數(shù)字系統(tǒng)、計(jì)算機(jī)系統(tǒng)等信號處理方面 FFT的廣泛應(yīng)用是一個重大進(jìn)展。FFT算法將數(shù)據(jù)以頻域形式展現(xiàn)，能夠有效的分析數(shù)據(jù)的特征、設(shè)備狀

3、態(tài)、進(jìn)行故障診斷等。本文研究了FFT算法的原理和特點(diǎn)，采用在MapReduce的模型上實(shí)現(xiàn)了FFT的并行化。根據(jù)FFT的特點(diǎn)將算法的并行執(zhí)行分為數(shù)據(jù)補(bǔ)齊、變址運(yùn)算、蝶形運(yùn)算、格式化四個階段，為壓縮提供可靠的基礎(chǔ)，加強(qiáng)數(shù)據(jù)存儲的效率。
　　面對龐大數(shù)據(jù)量的存儲，采用壓縮技術(shù)不僅節(jié)省空間，還可以降低數(shù)據(jù)文件傳輸過程中的I/O，本文在FFT每一階段的中間結(jié)果和最終結(jié)果中嵌入壓縮技術(shù)，保證了數(shù)據(jù)壓縮的有效性。首先引入了Hadoop支持的G