農(nóng)業(yè)大數(shù)據(jù)清洗方法比較研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)以驚人的速度產(chǎn)生并積累下來，大數(shù)據(jù)時(shí)代已經(jīng)來臨，數(shù)據(jù)作為繼石油之后的又一個(gè)重要戰(zhàn)略資源，在醫(yī)療、交通、能源等各個(gè)領(lǐng)域中發(fā)揮著重要作用。農(nóng)業(yè)是我國(guó)的基礎(chǔ)產(chǎn)業(yè)，正處于從傳統(tǒng)農(nóng)業(yè)向現(xiàn)代農(nóng)業(yè)的歷史轉(zhuǎn)變過程之中，產(chǎn)生了數(shù)量可觀的農(nóng)業(yè)大數(shù)據(jù)，我國(guó)正努力打造農(nóng)業(yè)大數(shù)據(jù)平臺(tái)以服務(wù)于現(xiàn)代農(nóng)業(yè)建設(shè)。然而，由于農(nóng)業(yè)信息化水平較其他產(chǎn)業(yè)相對(duì)落后以及農(nóng)業(yè)本身的復(fù)雜性，農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量參差不齊。高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮價(jià)值的關(guān)鍵，因此，

2、對(duì)農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量進(jìn)行評(píng)估，并采取措施進(jìn)行數(shù)據(jù)清洗以提高農(nóng)業(yè)大數(shù)據(jù)的質(zhì)量，具有重要意義。
　　本文基于以上背景對(duì)農(nóng)業(yè)大數(shù)據(jù)的清洗方法進(jìn)行了研究。首先，在文獻(xiàn)研究的基礎(chǔ)上，梳理了數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量的理論知識(shí)和國(guó)內(nèi)外對(duì)數(shù)據(jù)清洗技術(shù)的研究現(xiàn)狀，并對(duì)目前市場(chǎng)上的數(shù)據(jù)清洗工具進(jìn)行了對(duì)比分析。其次，對(duì)我國(guó)農(nóng)業(yè)大數(shù)據(jù)的現(xiàn)狀和構(gòu)成進(jìn)行了研究，并總結(jié)了我國(guó)農(nóng)業(yè)大數(shù)據(jù)的特征及其對(duì)數(shù)據(jù)質(zhì)量的挑戰(zhàn)，從數(shù)據(jù)質(zhì)量的各個(gè)維度，設(shè)計(jì)了具體的評(píng)價(jià)步驟和方法，采用數(shù)

3、據(jù)質(zhì)量調(diào)查和數(shù)據(jù)質(zhì)量指標(biāo)測(cè)量相結(jié)合的方法，對(duì)農(nóng)業(yè)大數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，并將結(jié)果放在二維矩陣中進(jìn)行分析。最后，重點(diǎn)對(duì)相似重復(fù)記錄的清洗方法進(jìn)行了比較研究，設(shè)計(jì)了基于Febrl的數(shù)據(jù)清洗實(shí)驗(yàn)，選取Web of Science、Science Direct、SpringerLink等數(shù)據(jù)庫(kù)中的農(nóng)業(yè)文獻(xiàn)數(shù)據(jù)，對(duì)Edit-Dist、Q-gram、Smith-Waterman-Dist算法在字段匹配上的有效性進(jìn)行了比較，根據(jù)原始數(shù)據(jù)的特點(diǎn)，選擇SNM