中文分詞方法在農(nóng)業(yè)搜索中的應(yīng)用研究.pdf

1、為了方便從事專業(yè)農(nóng)業(yè)的相關(guān)研究人員，準(zhǔn)確及時(shí)的獲取相關(guān)信息，為其提供決策依據(jù)，加快農(nóng)業(yè)信息化、智能化建設(shè)的趨勢(shì)不可逆轉(zhuǎn)。中文分詞技術(shù)是農(nóng)業(yè)垂直搜索、農(nóng)業(yè)專家系統(tǒng)、農(nóng)業(yè)知識(shí)推送、農(nóng)業(yè)信息檢索、農(nóng)業(yè)數(shù)據(jù)挖掘等方面不可或缺的一個(gè)重要環(huán)節(jié)。通過對(duì)現(xiàn)有的中文分詞方法的研究，切分的準(zhǔn)確率主要取決分詞方法和分詞詞典，因此，本文提出基于粒子群的N最短路徑方法分詞模型，并將其應(yīng)用于農(nóng)業(yè)搜索方面。全文的主要研究結(jié)果如下:
　　(1)基于詞的n元語法模

2、型的分詞方法，針對(duì)該方法是基于詞典的分詞，構(gòu)造出所有的分詞路徑，最后利用相關(guān)的搜索算法，從所有路徑中找到代價(jià)最小的路徑作為最后的分詞結(jié)果，本文所用的搜索算法是改進(jìn)的粒子群算法，主要的改進(jìn)有以下兩點(diǎn)。
　　首先，針對(duì)其收斂精度不高，極易收斂于局部最優(yōu)的問題。引入了一種隨迭代次數(shù)和粒子間距離大小動(dòng)態(tài)改變的慣性權(quán)重，通過設(shè)置比例系數(shù)控制二者對(duì)慣性權(quán)重的影響力度，在此基礎(chǔ)上為了增加種群多樣性，又引入“雜交變異”算子，設(shè)計(jì)了一種基于雜交變異

3、的動(dòng)態(tài)粒子群優(yōu)化算法，通過測(cè)試算法的測(cè)試有效的提高了算法的效率;
　　其次，深入分析后結(jié)合粒子群算法的優(yōu)點(diǎn)，利用最優(yōu)粒子和其它粒子在種群中的不同作用，給出了一種自適應(yīng)變異粒子群算法，算法中最優(yōu)粒子根據(jù)種群進(jìn)化程度，自適應(yīng)調(diào)整自身搜索鄰域大小，增強(qiáng)種群的局部搜索能力;對(duì)非最優(yōu)粒子的位置進(jìn)行小概率的隨機(jī)初始化，當(dāng)其速度為零時(shí)，速度自適應(yīng)變化，以便增強(qiáng)種群多樣性和全局搜索能力。仿真實(shí)驗(yàn)結(jié)果表明，增強(qiáng)種群多樣性的同時(shí)提高了局部搜索能力。<

4、br>　　(2)將改進(jìn)的粒子群算法用于分詞算法的最短路徑尋優(yōu)，創(chuàng)建基于粒子群的N最短路徑方法分詞模型，并將其用于分詞，實(shí)驗(yàn)結(jié)果表明，在同一核心詞典分詞詞庫(kù)下，粒子群N-最短路徑方法相對(duì)于其他算法句子的正確召回率更高，進(jìn)一步分析實(shí)驗(yàn)發(fā)現(xiàn)正確切分率有很大一部分取決于核心詞典。
　　(3)利用Python編程工具，實(shí)現(xiàn)并利用網(wǎng)頁(yè)抓取技術(shù)，建立了農(nóng)業(yè)專業(yè)領(lǐng)域的真實(shí)語料庫(kù)，該語料主要來源于中國(guó)知網(wǎng)農(nóng)業(yè)基礎(chǔ)科學(xué)、農(nóng)業(yè)工程、農(nóng)藝學(xué)、植物保護(hù)、農(nóng)

5、作物、園藝、林業(yè)、畜牧與動(dòng)物醫(yī)學(xué)、蠶蜂與野生動(dòng)物保護(hù)、水產(chǎn)和漁業(yè)等專題，共包含694種期刊，近五年的全部文章的題目、關(guān)鍵字以及摘要，一共有968125條記錄;選取真實(shí)語料庫(kù)中，694中期刊2014年第一期的所有文章的摘要，共21269條記錄作為分詞標(biāo)準(zhǔn)語料庫(kù)，以此為基礎(chǔ)構(gòu)建訓(xùn)練語料庫(kù)，以及分詞詞典。
　　(4)利用基于粒子群的N最短路徑方法分詞模型、網(wǎng)頁(yè)抓取技術(shù)以及網(wǎng)絡(luò)垂直搜索技術(shù)，將中文分詞技術(shù)應(yīng)用于農(nóng)業(yè)專業(yè)領(lǐng)域搜索。設(shè)計(jì)并開發(fā)