中文農(nóng)業(yè)網(wǎng)頁(yè)多分類方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)的普及,農(nóng)業(yè)信息化的建設(shè)、服務(wù)及水平都得到了極大的促進(jìn)與提高?；ヂ?lián)網(wǎng)中海量、無(wú)序和繁雜的農(nóng)業(yè)信息在為農(nóng)業(yè)從業(yè)人員帶來(lái)便利的同時(shí),也增加了獲取有效信息的難度。如何對(duì)這些農(nóng)業(yè)信息進(jìn)行有效的分類管理,從而方便農(nóng)民朋友及時(shí)、準(zhǔn)確地從中獲取需要的實(shí)際信息,成為農(nóng)業(yè)信息化領(lǐng)域研究的重要課題。本文的主要工作包括:
　　1)深入研究了文本分類的關(guān)鍵技術(shù),主要包括:文本預(yù)處理、中文分詞、特征提取方法、特征加權(quán)算法、機(jī)器

2、學(xué)習(xí)算法以及分類評(píng)價(jià)標(biāo)準(zhǔn)技術(shù),以農(nóng)業(yè)網(wǎng)頁(yè)的語(yǔ)料庫(kù)為基礎(chǔ),對(duì)文本多分類技術(shù)、特征提取算法、特征加權(quán)算法和機(jī)器學(xué)習(xí)算法進(jìn)行了重點(diǎn)研究。
　　2)對(duì)中文農(nóng)業(yè)網(wǎng)頁(yè)進(jìn)行了分類標(biāo)準(zhǔn)定義,構(gòu)建出中文農(nóng)業(yè)網(wǎng)頁(yè)語(yǔ)料庫(kù)。并從導(dǎo)航頁(yè)面類、農(nóng)業(yè)新聞?lì)悺⒄叻ㄒ?guī)類、農(nóng)業(yè)科技類和市場(chǎng)信息類五種類別的農(nóng)業(yè)網(wǎng)頁(yè)中分別隨機(jī)抽取1000張網(wǎng)頁(yè)共5000張網(wǎng)頁(yè)作為多分類實(shí)驗(yàn)的訓(xùn)練樣本集,同時(shí)還分別隨機(jī)抽取了500張網(wǎng)頁(yè)共2500張網(wǎng)頁(yè)作為多分類實(shí)驗(yàn)的測(cè)試樣本集。

3、>　　3)首先利用HTMLParser解析器對(duì)樣本集網(wǎng)頁(yè)進(jìn)行預(yù)處理,利用庖丁解牛分詞器軟件對(duì)已經(jīng)預(yù)處理的網(wǎng)頁(yè)進(jìn)行分詞、去除停用詞處理;其次利用卡方統(tǒng)計(jì)方法進(jìn)行特征提取,選擇各類分值中最大的前300個(gè)詞作為實(shí)驗(yàn)特征詞,利用布爾權(quán)重、詞頻權(quán)重和詞頻倒文檔頻權(quán)重對(duì)特征進(jìn)行加權(quán);然后利用多元線性回歸、樸素貝葉斯、K最臨近和支持向量機(jī)四種機(jī)器學(xué)習(xí)方法對(duì)三種不同權(quán)值的特征向量空間進(jìn)行有監(jiān)督學(xué)習(xí);最終得到了12組中文農(nóng)業(yè)網(wǎng)頁(yè)的多分類模型。
　　

4、4)從基于相同機(jī)器學(xué)習(xí)方法、不同特征權(quán)重的角度,分析比較了12組多分類模型回測(cè)預(yù)測(cè)時(shí)的查準(zhǔn)率、查全率和F1測(cè)度。結(jié)果表明:沒(méi)有哪種特征加權(quán)方法對(duì)分類效果有絕對(duì)優(yōu)勢(shì),三種特征權(quán)重在不同機(jī)器學(xué)習(xí)分類模型中各有優(yōu)劣。從基于相同特征權(quán)重、不同機(jī)器學(xué)習(xí)方法的角度進(jìn)行的分析對(duì)比,結(jié)果表明:K最臨近算法學(xué)習(xí)能力(回測(cè))最好,結(jié)合詞頻權(quán)值獲得的模型,準(zhǔn)確率、召回率及F1測(cè)度均可達(dá)到100％;支持向量機(jī)推廣能力或泛化能力(預(yù)測(cè))最好,結(jié)合布爾權(quán)值獲得的模

5、型,準(zhǔn)確率、召回率及F1測(cè)度均可達(dá)到99%左右。
　　總結(jié),本文基于中文農(nóng)業(yè)網(wǎng)頁(yè)語(yǔ)料庫(kù)隨機(jī)抽取的5000張訓(xùn)練樣本和2500張測(cè)試樣本,使用文本分類技術(shù)中的特征加權(quán)算法與機(jī)器學(xué)習(xí)算法對(duì)農(nóng)業(yè)網(wǎng)頁(yè)的多分類技術(shù)進(jìn)行了深入研究。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析與對(duì)比,結(jié)果表明:使用支持向量機(jī)算法結(jié)合布爾權(quán)值獲得的分類器模型,對(duì)農(nóng)業(yè)網(wǎng)頁(yè)語(yǔ)料庫(kù)有最好的多分類效果。樣本回測(cè)時(shí),準(zhǔn)確率、召回率及F1測(cè)度均可達(dá)到99.9%;樣本預(yù)測(cè)時(shí),準(zhǔn)確率、召回率及F1測(cè)度