基于物聯(lián)網(wǎng)的農(nóng)業(yè)大數(shù)據(jù)處理方法研究.pdf

1、物聯(lián)網(wǎng)在農(nóng)業(yè)信息化中的推廣，龐大的傳感器和RFID節(jié)點(diǎn)，能夠更好地對(duì)生產(chǎn)環(huán)境中的信息進(jìn)行監(jiān)控，但是，它們采集的數(shù)據(jù)量規(guī)模會(huì)越來越大，數(shù)據(jù)會(huì)出現(xiàn)海量冗余，會(huì)對(duì)我們后續(xù)的業(yè)務(wù)處理任務(wù)造成了一些影響，不僅有性能瓶頸等問題，還會(huì)導(dǎo)致輸出結(jié)果不可信。如此巨大規(guī)模的數(shù)據(jù)，是傳統(tǒng)的數(shù)據(jù)處理方法遇到的難題，而隨著大數(shù)據(jù)時(shí)代的步伐，出現(xiàn)了很多大數(shù)據(jù)計(jì)算框架，如Hadoop、Storm、Spark，很多企業(yè)選擇它們，并做出了成功的案例，它們也相繼被應(yīng)用在農(nóng)

2、業(yè)大數(shù)據(jù)領(lǐng)域。根據(jù)數(shù)據(jù)的特點(diǎn)和使用場(chǎng)景，選擇合適的處理工具，是進(jìn)行數(shù)據(jù)處理必須要考慮的因素。對(duì)高度冗余的數(shù)據(jù)如何做預(yù)處理，對(duì)大數(shù)據(jù)做處理分析的系統(tǒng)如何做到健壯高效，都是不可忽視的細(xì)節(jié)。本文依據(jù)實(shí)踐經(jīng)驗(yàn)，基于農(nóng)業(yè)系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)流向和數(shù)據(jù)特征，根據(jù)Spark處理分析數(shù)據(jù)時(shí)的機(jī)制，從減少數(shù)據(jù)冗余，并從做大表關(guān)聯(lián)優(yōu)化的問題入手，提出了基于BloomFilter的數(shù)據(jù)過中間件，提出了Spark大表關(guān)聯(lián)優(yōu)化方法。本文的主要研究工作如下:
　

3、　(1)基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)采集端，采集的數(shù)據(jù)往往海量冗余，給后面的分析處理帶來了一定問題，本文根據(jù)BloomFilter過濾數(shù)據(jù)的優(yōu)點(diǎn)，在基于BloomFilter的基礎(chǔ)上提出了對(duì)冗余數(shù)據(jù)進(jìn)行過濾的優(yōu)化方法。
　　(2)針對(duì)Spark這個(gè)大數(shù)據(jù)計(jì)算框架能夠進(jìn)行流式數(shù)據(jù)處理，能夠處理基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)流并且符合實(shí)時(shí)性要求，但是面對(duì)很大的兩表進(jìn)行連接操作時(shí)通常表現(xiàn)的效率不高和面對(duì)數(shù)據(jù)傾斜時(shí)造成的問題，給出了一個(gè)優(yōu)化方法。