基于Hadoop的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)研究.pdf

1、我國地域廣闊、生態(tài)類型復(fù)雜多樣、作物種類更是豐富繁多。因而，我國的農(nóng)業(yè)數(shù)據(jù)也是種類多樣、體量巨大。由于傳統(tǒng)農(nóng)業(yè)的局限性，各類農(nóng)業(yè)數(shù)據(jù)一直沒有被重視、充分的利用起來。隨著農(nóng)業(yè)信息化的推進和農(nóng)業(yè)現(xiàn)代化水平的提高，各類農(nóng)業(yè)數(shù)據(jù)開始受到人們的重視，發(fā)揮著越來越重要的作用，用于指導(dǎo)農(nóng)業(yè)生產(chǎn)。隨著物聯(lián)網(wǎng)等技術(shù)在農(nóng)業(yè)上大量使用，農(nóng)業(yè)數(shù)據(jù)的數(shù)據(jù)量呈幾何遞增，傳統(tǒng)的數(shù)據(jù)處理方式已不能滿足農(nóng)業(yè)數(shù)據(jù)的處理需求。農(nóng)業(yè)數(shù)據(jù)已經(jīng)逐漸滿足大數(shù)據(jù)的基本特性，成為農(nóng)業(yè)大

2、數(shù)據(jù)。由于農(nóng)業(yè)自身的特點使得農(nóng)業(yè)大數(shù)據(jù)具有大量、多維、動態(tài)等特征。如何合理高效的應(yīng)對農(nóng)業(yè)大數(shù)據(jù)的發(fā)展，是一個非常重要的問題。
　　大數(shù)據(jù)技術(shù)的飛速發(fā)展可以很好地解決農(nóng)業(yè)大數(shù)據(jù)所面臨的諸多難題。而最受關(guān)注的大數(shù)據(jù)處理平臺，無疑是谷歌公司的Hadoop。Hadoop是一個開源的、可運行于大規(guī)模集群上的分布式計算平臺，其實現(xiàn)了MapReduce計算模型，得到了廣泛地應(yīng)用并逐漸成為大數(shù)據(jù)的代名詞。MapReduce是由Google公司最早

3、提出的，是一種并行編程模型，可用于大規(guī)模數(shù)據(jù)集的并行運算，是Google的核心計算模型。Map函數(shù)、Reduce函數(shù)是MapReduce模型的核心，它們都利用的數(shù)據(jù)結(jié)構(gòu)將將復(fù)雜的數(shù)據(jù)處理任務(wù)分布到各個計算機節(jié)點上，并利用分布式并行架構(gòu)來處理海量的復(fù)雜數(shù)據(jù)。
　　本文對大數(shù)據(jù)的特點進行分析，根據(jù)農(nóng)業(yè)大數(shù)據(jù)的特點，對現(xiàn)有的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)的優(yōu)勢和不足進行分析和改進，設(shè)計了基于Hadoop平臺的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)