面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)驅(qū)動創(chuàng)新。當(dāng)今社會，數(shù)據(jù)資源已成為與物質(zhì)資源、能量資源、人力資源一樣重要的戰(zhàn)略資源，是一個國家數(shù)字主體和綜合國力的體現(xiàn)。如何激發(fā)數(shù)據(jù)在各行各業(yè)中的活力，切實(shí)挖掘出大數(shù)據(jù)的潛在價值，是需要廣大科研人員深入思考的問題。
　　本論文圍繞大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用進(jìn)行相關(guān)研究，對于推動傳統(tǒng)農(nóng)業(yè)轉(zhuǎn)型升級，助力大數(shù)據(jù)產(chǎn)業(yè)發(fā)展具有十分必要的現(xiàn)實(shí)意義和實(shí)用價值。一方面，我國農(nóng)業(yè)面臨農(nóng)業(yè)資源短缺、農(nóng)業(yè)污染加重，大市場與小生產(chǎn)對接困難，國內(nèi)生產(chǎn)與

2、國際市場不匹配等問題，迫切需要借助信息技術(shù)推動創(chuàng)新發(fā)展，加快農(nóng)業(yè)現(xiàn)代化建設(shè)。另一方面，大數(shù)據(jù)發(fā)展必須與產(chǎn)業(yè)進(jìn)行深度融合，否則大數(shù)據(jù)將是“無源之水，無本之木”，農(nóng)業(yè)是高度復(fù)雜的生態(tài)系統(tǒng)，既是產(chǎn)生大量原始數(shù)據(jù)集合的源頭，也是利用大數(shù)據(jù)進(jìn)行處理分析、價值發(fā)現(xiàn)的重要領(lǐng)域。
　　通過本論文實(shí)現(xiàn)以下目標(biāo)：
　　1）結(jié)合農(nóng)業(yè)領(lǐng)域特征，對農(nóng)業(yè)大數(shù)據(jù)進(jìn)行界定，分析農(nóng)業(yè)大數(shù)據(jù)處理流程，設(shè)計(jì)農(nóng)業(yè)大數(shù)據(jù)總體框架、標(biāo)準(zhǔn)體系，對農(nóng)業(yè)大數(shù)據(jù)發(fā)展的路徑選擇

3、和技術(shù)路線進(jìn)行思考；
　　2）基于流程理論，研究大數(shù)據(jù)采集技術(shù)、管理技術(shù)、處理技術(shù)等在農(nóng)業(yè)領(lǐng)域的應(yīng)用，并結(jié)合具體實(shí)例進(jìn)行探討；
　　3）提出關(guān)于農(nóng)業(yè)大數(shù)據(jù)發(fā)展的相關(guān)見解，為進(jìn)一步推動大數(shù)據(jù)技術(shù)農(nóng)業(yè)應(yīng)用提供參考和依據(jù)。
　　本論文主要研究內(nèi)容包括以下部分：
　　1）梳理了大數(shù)據(jù)基本理論。大數(shù)據(jù)起源于現(xiàn)代科學(xué)研究，數(shù)據(jù)密集型科研又推動了科研創(chuàng)新，全球致力于科研信息化建設(shè)，推動數(shù)據(jù)科學(xué)發(fā)展；綜述了大數(shù)據(jù)定義、特征等，分

4、析了當(dāng)前大數(shù)據(jù)重點(diǎn)研究的熱點(diǎn)領(lǐng)域；
　　2）深入研究了農(nóng)業(yè)大數(shù)據(jù)的相關(guān)內(nèi)容。對信息技術(shù)農(nóng)業(yè)應(yīng)用模式進(jìn)行了介紹；從現(xiàn)代農(nóng)業(yè)發(fā)展的角度，提出了農(nóng)業(yè)大數(shù)據(jù)系統(tǒng)架構(gòu)、標(biāo)準(zhǔn)體系；從信息技術(shù)與農(nóng)業(yè)融合的角度提出了農(nóng)業(yè)大數(shù)據(jù)的概念、內(nèi)涵、特征及路徑選擇和激素路線；從數(shù)據(jù)流程理論，對農(nóng)業(yè)大數(shù)據(jù)流程進(jìn)行了階段劃分；根據(jù)農(nóng)業(yè)產(chǎn)業(yè)鏈理論，對農(nóng)業(yè)大數(shù)據(jù)進(jìn)行階段劃分；
　　3）系統(tǒng)研究了農(nóng)業(yè)大數(shù)據(jù)采集的相關(guān)內(nèi)容。對大數(shù)據(jù)的主要來源進(jìn)行分類研究；對農(nóng)業(yè)

5、數(shù)據(jù)采集階段進(jìn)行劃分；根據(jù)農(nóng)業(yè)數(shù)據(jù)采集技術(shù)將農(nóng)業(yè)大數(shù)據(jù)的獲取劃分為農(nóng)業(yè)遙感數(shù)據(jù)、農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)、生命信息數(shù)據(jù)、農(nóng)產(chǎn)品市場數(shù)據(jù)以及農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)等；利用 Scrapy爬蟲技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個農(nóng)業(yè)網(wǎng)站數(shù)據(jù)自動抓取的軟件腳本，實(shí)現(xiàn)了項(xiàng)目信息、會議信息等自動采集；
　　4）系統(tǒng)研究了大數(shù)據(jù)管理與處理技術(shù)。介紹了NewSQL和NoSQL兩大類數(shù)據(jù)庫技術(shù)，梳理了當(dāng)前主要的數(shù)據(jù)存儲模型，利用Neo4j圖數(shù)據(jù)庫實(shí)現(xiàn)了中國農(nóng)業(yè)科學(xué)院相關(guān)研究所數(shù)據(jù)