農(nóng)業(yè)大數(shù)據(jù)清洗方法比較研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)以驚人的速度產(chǎn)生并積累下來，大數(shù)據(jù)時代已經(jīng)來臨，數(shù)據(jù)作為繼石油之后的又一個重要戰(zhàn)略資源，在醫(yī)療、交通、能源等各個領(lǐng)域中發(fā)揮著重要作用。農(nóng)業(yè)是我國的基礎(chǔ)產(chǎn)業(yè)，正處于從傳統(tǒng)農(nóng)業(yè)向現(xiàn)代農(nóng)業(yè)的歷史轉(zhuǎn)變過程之中，產(chǎn)生了數(shù)量可觀的農(nóng)業(yè)大數(shù)據(jù)，我國正努力打造農(nóng)業(yè)大數(shù)據(jù)平臺以服務(wù)于現(xiàn)代農(nóng)業(yè)建設(shè)。然而，由于農(nóng)業(yè)信息化水平較其他產(chǎn)業(yè)相對落后以及農(nóng)業(yè)本身的復(fù)雜性，農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量參差不齊。高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮價值的關(guān)鍵，因此，

2、對農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量進行評估，并采取措施進行數(shù)據(jù)清洗以提高農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量，具有重要意義。
　　本文基于以上背景對農(nóng)業(yè)大數(shù)據(jù)的清洗方法進行了研究。首先，在文獻研究的基礎(chǔ)上，梳理了數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量的理論知識和國內(nèi)外對數(shù)據(jù)清洗技術(shù)的研究現(xiàn)狀，并對目前市場上的數(shù)據(jù)清洗工具進行了對比分析。其次，對我國農(nóng)業(yè)大數(shù)據(jù)的現(xiàn)狀和構(gòu)成進行了研究，并總結(jié)了我國農(nóng)業(yè)大數(shù)據(jù)的特征及其對數(shù)據(jù)質(zhì)量的挑戰(zhàn)，從數(shù)據(jù)質(zhì)量的各個維度，設(shè)計了具體的評價步驟和方法，采用數(shù)

3、據(jù)質(zhì)量調(diào)查和數(shù)據(jù)質(zhì)量指標(biāo)測量相結(jié)合的方法，對農(nóng)業(yè)大數(shù)據(jù)質(zhì)量進行評估，并將結(jié)果放在二維矩陣中進行分析。最后，重點對相似重復(fù)記錄的清洗方法進行了比較研究，設(shè)計了基于Febrl的數(shù)據(jù)清洗實驗，選取Web of Science、Science Direct、SpringerLink等數(shù)據(jù)庫中的農(nóng)業(yè)文獻數(shù)據(jù)，對Edit-Dist、Q-gram、Smith-Waterman-Dist算法在字段匹配上的有效性進行了比較，根據(jù)原始數(shù)據(jù)的特點，選擇SNM