農(nóng)產(chǎn)品信息采集與發(fā)布平臺的研究和實現(xiàn).pdf

1、從上世紀七十年代到現(xiàn)在，我國的農(nóng)產(chǎn)品價格一直處于波動狀態(tài)，特別是在2008年以后，農(nóng)產(chǎn)品價格波動周期持續(xù)縮短，波動不對稱，上升幅度高于跌落幅度，處于暴漲暴跌的狀態(tài)。而農(nóng)產(chǎn)品價格波動不僅會對農(nóng)民收入和農(nóng)民生產(chǎn)積極性產(chǎn)生直接影響，更關(guān)乎百姓的日常生活和切身利益。而信息不對稱被認為是農(nóng)產(chǎn)品價格波動的關(guān)鍵因素，尤其是農(nóng)民很難從市場得到實時準確的價格和銷售信息。目前的網(wǎng)上農(nóng)產(chǎn)品網(wǎng)站良莠不齊，大多服務(wù)于政府而不是農(nóng)民。本文為農(nóng)民著想，及時、全面地掌

2、握農(nóng)產(chǎn)品市場價格，以權(quán)威的農(nóng)產(chǎn)品價格行情網(wǎng)站為對象進行Web信息采集，同時探索利用歷史數(shù)據(jù)對其未來價格趨勢進行預測。
　　論文的主要內(nèi)容:
　　第一，本文總結(jié)了網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)(如開源的爬蟲工具Heritrix)、網(wǎng)絡(luò)信息抽取相關(guān)技術(shù);利用基于php/python的正則表達式采集全國農(nóng)商網(wǎng)的農(nóng)產(chǎn)品數(shù)據(jù)庫。得到農(nóng)產(chǎn)品分類信息:糧油類、蔬菜類、果品類、水產(chǎn)品類和畜產(chǎn)品類;各種農(nóng)產(chǎn)品名稱和對應(yīng)URL;農(nóng)產(chǎn)品價格行情:農(nóng)產(chǎn)品名稱、

3、農(nóng)產(chǎn)品所在市場、農(nóng)產(chǎn)品價格、農(nóng)產(chǎn)品價格發(fā)布日期等。經(jīng)過以上三級的爬取，農(nóng)產(chǎn)品價格行情獲取完整，目前已經(jīng)獲取50多萬條數(shù)據(jù)，并且每天都在增加。
　　第二，比較基于Heritrix的Web信息采集過程和基于php/python代碼的web信息采集過程，介紹兩種方法各自的優(yōu)勢。
　　第三，以北京豐臺區(qū)新發(fā)地農(nóng)產(chǎn)品批發(fā)市場2006、2007、2008、2009、2010、2012、2013年6月份胡蘿卜價格數(shù)據(jù)（平均價格）為研究對象

4、，預測2014價格。使用的預測方法分別有平均數(shù)預測法、加權(quán)算術(shù)平均法、時間序列平均增長量預測法、時間序列平均發(fā)展速度市場預測法、一次移動平均預測法、二次移動平均預測法。并通過誤差平方來判斷各種方法的優(yōu)劣，分析每種方法的適用情況。
　　第四，開發(fā)了農(nóng)產(chǎn)品信息采集發(fā)布平臺。農(nóng)產(chǎn)品信息采集發(fā)布平臺按照功能需求可劃分為農(nóng)產(chǎn)品信息采集模塊，農(nóng)產(chǎn)品信息查詢、比對模塊，農(nóng)產(chǎn)品求購模塊，登錄、注冊模塊，管理模塊。其中價格比對圖和價格月份走勢圖由開