基于Hadoop的農(nóng)產(chǎn)品質(zhì)量監(jiān)控平臺(tái)及資源調(diào)度算法的研究.pdf

1、近年來(lái)，農(nóng)產(chǎn)品質(zhì)量安全問(wèn)題屢見(jiàn)不鮮，已經(jīng)引起了社會(huì)廣泛關(guān)注，農(nóng)產(chǎn)品質(zhì)量安全監(jiān)控體系的構(gòu)建迫在眉睫。通過(guò)農(nóng)村信息化監(jiān)管平臺(tái)的建設(shè)可以有效地對(duì)農(nóng)產(chǎn)品質(zhì)量安全進(jìn)行監(jiān)管，傳統(tǒng)的相關(guān)技術(shù)在后端采用單節(jié)點(diǎn)數(shù)據(jù)庫(kù)的方式對(duì)監(jiān)管數(shù)據(jù)進(jìn)行采集與處理，遇到海量數(shù)據(jù)時(shí)處理和響應(yīng)速度都變得非常慢，很難突破當(dāng)前對(duì)農(nóng)產(chǎn)品質(zhì)量監(jiān)管過(guò)程中遇到的性能瓶頸，在實(shí)際中并不可行。因此，將當(dāng)下云計(jì)算的相關(guān)技術(shù)應(yīng)用于農(nóng)產(chǎn)品監(jiān)管平臺(tái)之上并系統(tǒng)地提出構(gòu)建基于云計(jì)算的農(nóng)產(chǎn)品安全監(jiān)管平臺(tái)的

2、整體框架及其資源調(diào)度策略成了文本需要重點(diǎn)研究的問(wèn)題。
　　為了構(gòu)建農(nóng)產(chǎn)品安全監(jiān)控平臺(tái)的整體框架，本文分層介紹了平臺(tái)在各層的功能以及相關(guān)技術(shù)實(shí)現(xiàn)手段，對(duì)平臺(tái)的數(shù)據(jù)存儲(chǔ)和分布式處理作了詳細(xì)設(shè)計(jì)，同時(shí)，設(shè)計(jì)了用于監(jiān)測(cè)農(nóng)產(chǎn)品的超標(biāo)屬性指標(biāo)的函數(shù)。緊接著，針對(duì)農(nóng)產(chǎn)品數(shù)據(jù)的存儲(chǔ)與處理，將Hadoop并行處理框架與分布式存儲(chǔ)系統(tǒng)應(yīng)用于農(nóng)產(chǎn)品監(jiān)管平臺(tái)之上，系統(tǒng)地研究比較了先入先出、公平調(diào)度以及計(jì)算能力調(diào)度策略的各自?xún)?yōu)缺點(diǎn)，基于農(nóng)產(chǎn)品安全監(jiān)管平臺(tái)的

3、實(shí)際運(yùn)行環(huán)境，在三大調(diào)度策略的改進(jìn)之上提出一種在運(yùn)行時(shí)自適應(yīng)調(diào)整(RDA)調(diào)度策略，并針對(duì)該調(diào)度策略作了具體的實(shí)現(xiàn)。對(duì)比Hadoop的三大調(diào)度算法，它改進(jìn)了原先對(duì)于落后任務(wù)的判定方式，使得推測(cè)式執(zhí)行更加精準(zhǔn)，并且針對(duì)多作業(yè)多任務(wù)的環(huán)境之下，在運(yùn)行時(shí)自動(dòng)調(diào)整作業(yè)隊(duì)列的大小，動(dòng)態(tài)調(diào)整整個(gè)集群的負(fù)載水平，將集群的工作節(jié)點(diǎn)分成適于處理Map任務(wù)以及適于處理Reduce任務(wù)的兩大類(lèi)，使得任務(wù)執(zhí)行更加高效。仿真測(cè)試結(jié)果表明，在多作業(yè)多任務(wù)以及異構(gòu)的

4、集群環(huán)境下，自適應(yīng)資源調(diào)度算法的性能要大幅領(lǐng)先于其它三種資源調(diào)度策略，針對(duì)農(nóng)產(chǎn)品安全監(jiān)控平臺(tái)具有很強(qiáng)的適用性和先進(jìn)性。
　　本文提出了將云計(jì)算技術(shù)應(yīng)用于農(nóng)產(chǎn)品安全監(jiān)控平臺(tái)之上的構(gòu)建方案，使得對(duì)于農(nóng)產(chǎn)品質(zhì)量的監(jiān)控反饋更加及時(shí)與精準(zhǔn)。提出了用于Map-Reduce對(duì)農(nóng)產(chǎn)品質(zhì)量數(shù)據(jù)進(jìn)行監(jiān)測(cè)預(yù)警的處理函數(shù)，使得監(jiān)測(cè)更加高效。同時(shí)，在Hadoop自身調(diào)度算法的基礎(chǔ)之上進(jìn)行了改進(jìn)，設(shè)計(jì)了應(yīng)用于平臺(tái)監(jiān)測(cè)過(guò)程中RDA運(yùn)行時(shí)動(dòng)態(tài)調(diào)整的調(diào)度策略，使得