農業(yè)數(shù)據(jù)異常檢驗模型構建及實證分析.pdf

1、數(shù)據(jù)是提取有效信息、制定科學決策、驅動農業(yè)現(xiàn)代化發(fā)展的重要力量。我國是農業(yè)大國，農業(yè)在國民經濟中處于基礎地位，悠久的農業(yè)歷史使我國在生產、流通、消費等各個環(huán)節(jié)中都積累了豐富的數(shù)據(jù)。近年來，隨著農業(yè)現(xiàn)代化進程加快及鄉(xiāng)村振興戰(zhàn)略的提出，各種信息技術快速涌入農業(yè)領域，農業(yè)數(shù)據(jù)量呈現(xiàn)爆炸性增長態(tài)勢。我國農業(yè)目前因信息技術滯后、數(shù)據(jù)涵蓋面廣、數(shù)據(jù)源復雜、與時空密切相關、生產周期長的特點，數(shù)據(jù)質量問題層出不窮，數(shù)據(jù)集中不僅存在許多一般的異常數(shù)據(jù)，還

2、存在許多看似正常，實則產生于完全不同機制的異常數(shù)據(jù)，數(shù)據(jù)分析工作面臨著“數(shù)據(jù)豐富、信息貧乏”的困境。在大數(shù)據(jù)時代，既無法杜絕異常數(shù)據(jù)的產生，也難以通過技術手段將其消除。因此，構建異常數(shù)據(jù)檢驗模型，從數(shù)據(jù)集中挖掘出看似正常實則異常的數(shù)據(jù)，找出其背后隱含的信息，并加以利用，力求制定出更多科學決策具有重要意義。本文以兩個異常數(shù)據(jù)檢驗工具——Benford定律、SVR為基礎，構建了Benford-SVR異常數(shù)據(jù)檢驗模型，分析了農業(yè)自然領域的降水

3、量數(shù)據(jù)集和社會領域生產數(shù)據(jù)集，豐富了我國農業(yè)數(shù)據(jù)異常檢驗的理論和技術手段，展望了異常數(shù)據(jù)檢驗模型未來的發(fā)展方向。
　　首先，本文從研究背景和意義展開，以提高異常檢驗的效率和準確率為目的進行了相關方法研究，選擇了Benford定律和SVR兩個異常數(shù)據(jù)挖掘有效工具，闡述了Benford定律以數(shù)據(jù)集首位數(shù)為1-9的概率滿足的一個固定對數(shù)分布的特點篩選異常數(shù)據(jù)池的基本原理，以及SVR有強大的非線性映射能力，能從整體上考慮回歸曲線的平滑性，

4、不傾向于消除個別大的回歸誤差的異常點挖掘的方法，其次，針對Benford定律篩選異常數(shù)據(jù)集效率高，但范圍略大，而SVR挖掘異常數(shù)據(jù)點精度高、魯棒性高，但主要面向小樣本的特點，借助于組合模型的思想，構建了Benford-SVR異常數(shù)據(jù)檢驗模型，該模型在Benford定律篩選出異常數(shù)據(jù)池的基礎上，選定高質量數(shù)據(jù)集作為SVR的訓練樣本，異常數(shù)據(jù)池中的數(shù)據(jù)作為預測樣本，從中挖掘異常數(shù)據(jù)，再次，用Benford-SVR異常數(shù)據(jù)檢驗模型對我國65年

5、降水量數(shù)據(jù)集、河北省7個市4年生產數(shù)據(jù)集進行實證分析，得出我國降水量數(shù)據(jù)集整體及局部質量都較高，而河北省滄州、邯鄲、邢臺數(shù)據(jù)集質量較好，而保定、石家莊、唐山、張家口數(shù)據(jù)集可疑，并從中挖掘出異常較大的數(shù)據(jù)點，最后，根據(jù)實證分析結果，指出了Benford-SVR異常數(shù)據(jù)檢驗模型是檢驗農業(yè)自然科學領域及社會科學領域的有效方法，快速準確的挖掘出數(shù)據(jù)集中的異常數(shù)據(jù)點，但無監(jiān)督學習模式會存在偶然性誤差，后續(xù)工作中要對異常數(shù)據(jù)點加以識別，力求能挖掘其