基于中心向量的聚類算法在農(nóng)業(yè)信息分類中的研究與應用.pdf

1、近年來，新疆農(nóng)業(yè)信息技術(shù)不斷地加速發(fā)展，農(nóng)村互聯(lián)網(wǎng)的使用得到了普及，網(wǎng)絡應用也達到了新的層次，互聯(lián)網(wǎng)中海量的農(nóng)業(yè)相關(guān)知識和信息雖然為工作人員帶來了便利，但是與此同時也給信息檢索增加了難度。本文依據(jù)《新疆農(nóng)村信息采集系統(tǒng)》的需求，針對具有新疆特色的農(nóng)作物網(wǎng)頁信息進行分類研究，來幫助農(nóng)業(yè)相關(guān)工作人員獲得更準確有效的信息。
　　文中對Rocchio、kNN、SVM、和Naive Bayes四種機器學習方法進行了研究分析，通過實驗對聚類和

2、分類算法相結(jié)合的思想進行了詳細且深入地研究，重點研究了基于中心向量的邊緣樣本刪減方法。文中的主要工作如下所示:
　　(1)用八爪魚軟件抓取具有新疆特色的農(nóng)業(yè)網(wǎng)頁并進行分類標注，分別為:政策法規(guī)標記為1，農(nóng)業(yè)科技標記為2，棉花標記為3，玉米標記為4，小麥標記為5，核桃標記為6，紅棗標記為7，葡萄標記為8。
　　(2)文中深入研究了文本分類的關(guān)鍵技術(shù)，最終選擇使用“庖丁解?！边M行分詞處理，使用卡方統(tǒng)計完成特征提取，選擇各類別中分

3、值最高的前140個詞作為實驗需要使用的特征詞，使用詞頻權(quán)重和詞頻倒文檔權(quán)重加權(quán)。文本分類技術(shù)則使用Rocchio、kNN、SVM、和Na(i)ve Bayes算法對處理好的數(shù)據(jù)有監(jiān)督的學習，并將這四類算法應用到農(nóng)業(yè)信息分類當中進行實驗及對比分析，根據(jù)四種算法結(jié)果的分析，最終結(jié)果顯示SVM和kNN效果比較理想。
　　(3)文中實現(xiàn)了K-means和SVM相結(jié)合的分類方法來減少邊緣樣本，并根據(jù)基于中心向量的思想實現(xiàn)了保留中心向量和保留

4、中心向量鄰近樣本的邊緣樣本刪減方法，分別對比了未刪減前和刪減后的訓練時間、訓練樣本數(shù)以及準確率。
　　總結(jié)，本文對新疆特色農(nóng)作物網(wǎng)頁進行了分類，其中訓練集11200個，測試集4800個，分別使用Rocchio、kNN、SVM、和Naive bayes算法對網(wǎng)頁進行分類，并通過分析各個算法的分類結(jié)果及性能得出:SVM分類在Precision、Recall和F1測度上都有較好的表現(xiàn)，但是在大數(shù)據(jù)的情況下訓練時間長。因此，文中實現(xiàn)了兩種