面向農(nóng)業(yè)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)存儲(chǔ)方法研究.pdf

1、隨著農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用的不斷推廣，其系統(tǒng)的規(guī)模也不斷擴(kuò)展，對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的要求也越來(lái)越高。首先，隨著人們對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)要求的提高，更多的農(nóng)業(yè)生產(chǎn)對(duì)象將接入到物聯(lián)網(wǎng)系統(tǒng)，農(nóng)業(yè)物聯(lián)網(wǎng)的數(shù)據(jù)規(guī)模不斷增大，越來(lái)越需要分布式集群來(lái)存儲(chǔ)日益增多的海量數(shù)據(jù)；其次，由于農(nóng)業(yè)物聯(lián)網(wǎng)接入的傳感器類型繁多，采集的數(shù)據(jù)種類也越來(lái)越多并不斷變化，不僅有各種數(shù)值類型結(jié)構(gòu)化數(shù)據(jù)，也包含了大量文檔數(shù)據(jù)、圖像、以及視頻等非結(jié)構(gòu)化數(shù)據(jù)，這導(dǎo)致農(nóng)業(yè)物聯(lián)網(wǎng)的部分?jǐn)?shù)據(jù)越來(lái)越多地出

2、現(xiàn)非結(jié)構(gòu)趨勢(shì)。這種非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)并存的現(xiàn)象對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)的存儲(chǔ)系統(tǒng)提出了更高的要求。
　　為了解決農(nóng)業(yè)物聯(lián)網(wǎng)海量化和異構(gòu)化數(shù)據(jù)高效讀寫的問(wèn)題，本文開(kāi)展了如下工作：
　?。?）針對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)不同類別、不同數(shù)據(jù)塊大小等等數(shù)據(jù)特征，分別在關(guān)系型和非關(guān)系型底層存儲(chǔ)系統(tǒng)上進(jìn)行檢索和寫入效率的實(shí)驗(yàn)，并分析對(duì)比，探究了底層存儲(chǔ)模型和數(shù)據(jù)特征之間的內(nèi)在聯(lián)系，得出結(jié)論關(guān)系模型更適宜存儲(chǔ)結(jié)構(gòu)化、小數(shù)據(jù)塊數(shù)據(jù)，非關(guān)系型根據(jù)其模型的不同分別

3、適合存儲(chǔ)不同的非結(jié)構(gòu)化數(shù)據(jù)。
　?。?）根據(jù)（1）的實(shí)驗(yàn)結(jié)論建立基于數(shù)據(jù)特征的統(tǒng)一存儲(chǔ)模型，指出統(tǒng)一存儲(chǔ)模型的數(shù)據(jù)規(guī)范和數(shù)據(jù)交換應(yīng)遵循的要點(diǎn)，將一切類型的數(shù)據(jù)視為具有統(tǒng)一格式的數(shù)據(jù)對(duì)象，并根據(jù)一定的規(guī)則與底層存儲(chǔ)系統(tǒng)進(jìn)行信息交換。
　?。?）基于統(tǒng)一數(shù)據(jù)模型建立了異構(gòu)數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)HDIP。通過(guò)建立異構(gòu)數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)，解決了用戶海量數(shù)據(jù)的高效存儲(chǔ)問(wèn)題，統(tǒng)一的操作接口簡(jiǎn)化了用戶的數(shù)據(jù)模型，建立了統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)了用戶數(shù)

4、據(jù)的統(tǒng)一存儲(chǔ)與檢索；通過(guò)元數(shù)據(jù)映射機(jī)制，解決了統(tǒng)一數(shù)據(jù)對(duì)象和底層存儲(chǔ)系統(tǒng)之間的映射；通過(guò)類型的映射解決異構(gòu)數(shù)據(jù)存儲(chǔ)模型之間的類型匹配。
　?。?）本文基于HDIP架構(gòu)設(shè)計(jì)，采用MongoDB、MySQL、Hbase作為底層數(shù)據(jù)存儲(chǔ)系統(tǒng)，構(gòu)建了面向農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)原型--小麥農(nóng)情監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)系統(tǒng)原型。
　　本文通過(guò)建立統(tǒng)一數(shù)據(jù)模型，為異構(gòu)數(shù)據(jù)存儲(chǔ)提供了解決方案；通過(guò)構(gòu)建面向農(nóng)業(yè)物聯(lián)網(wǎng)的應(yīng)用系統(tǒng)原型，驗(yàn)證異構(gòu)數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)的