基于Hadoop的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)研究.pdf

1、我國(guó)地域廣闊、生態(tài)類(lèi)型復(fù)雜多樣、作物種類(lèi)更是豐富繁多。因而，我國(guó)的農(nóng)業(yè)數(shù)據(jù)也是種類(lèi)多樣、體量巨大。由于傳統(tǒng)農(nóng)業(yè)的局限性，各類(lèi)農(nóng)業(yè)數(shù)據(jù)一直沒(méi)有被重視、充分的利用起來(lái)。隨著農(nóng)業(yè)信息化的推進(jìn)和農(nóng)業(yè)現(xiàn)代化水平的提高，各類(lèi)農(nóng)業(yè)數(shù)據(jù)開(kāi)始受到人們的重視，發(fā)揮著越來(lái)越重要的作用，用于指導(dǎo)農(nóng)業(yè)生產(chǎn)。隨著物聯(lián)網(wǎng)等技術(shù)在農(nóng)業(yè)上大量使用，農(nóng)業(yè)數(shù)據(jù)的數(shù)據(jù)量呈幾何遞增，傳統(tǒng)的數(shù)據(jù)處理方式已不能滿足農(nóng)業(yè)數(shù)據(jù)的處理需求。農(nóng)業(yè)數(shù)據(jù)已經(jīng)逐漸滿足大數(shù)據(jù)的基本特性，成為農(nóng)業(yè)大

2、數(shù)據(jù)。由于農(nóng)業(yè)自身的特點(diǎn)使得農(nóng)業(yè)大數(shù)據(jù)具有大量、多維、動(dòng)態(tài)等特征。如何合理高效的應(yīng)對(duì)農(nóng)業(yè)大數(shù)據(jù)的發(fā)展，是一個(gè)非常重要的問(wèn)題。
　　大數(shù)據(jù)技術(shù)的飛速發(fā)展可以很好地解決農(nóng)業(yè)大數(shù)據(jù)所面臨的諸多難題。而最受關(guān)注的大數(shù)據(jù)處理平臺(tái)，無(wú)疑是谷歌公司的Hadoop。Hadoop是一個(gè)開(kāi)源的、可運(yùn)行于大規(guī)模集群上的分布式計(jì)算平臺(tái)，其實(shí)現(xiàn)了MapReduce計(jì)算模型，得到了廣泛地應(yīng)用并逐漸成為大數(shù)據(jù)的代名詞。MapReduce是由Google公司最早

3、提出的，是一種并行編程模型，可用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，是Google的核心計(jì)算模型。Map函數(shù)、Reduce函數(shù)是MapReduce模型的核心，它們都利用的數(shù)據(jù)結(jié)構(gòu)將將復(fù)雜的數(shù)據(jù)處理任務(wù)分布到各個(gè)計(jì)算機(jī)節(jié)點(diǎn)上，并利用分布式并行架構(gòu)來(lái)處理海量的復(fù)雜數(shù)據(jù)。
　　本文對(duì)大數(shù)據(jù)的特點(diǎn)進(jìn)行分析，根據(jù)農(nóng)業(yè)大數(shù)據(jù)的特點(diǎn)，對(duì)現(xiàn)有的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)的優(yōu)勢(shì)和不足進(jìn)行分析和改進(jìn)，設(shè)計(jì)了基于Hadoop平臺(tái)的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)