基于智能Agent的網(wǎng)上農(nóng)業(yè)信息挖掘研究.pdf

1、面對Internet上的信息海洋,人們利用搜索引擎往往難于找到自己真正所需的信息和知識.Web信息挖掘技術(shù)可以有效地解決如何在異質(zhì)、分布的Web上快速、有效地發(fā)現(xiàn)資源和知識,可以彌補搜索引擎的不足.該文的研究目標(biāo)是幫助人們在網(wǎng)上進(jìn)行領(lǐng)域信息搜集和挖掘.該文在研究Web信息挖掘技術(shù)和智能Agent技術(shù)的基礎(chǔ)上提出了一個面向領(lǐng)域的網(wǎng)上信息挖掘模型,圍繞該模型的構(gòu)建和軟件實現(xiàn),該文的主要工作和創(chuàng)新有:首先,所提出的模型系統(tǒng)采用多Agent體系

2、結(jié)構(gòu),面向?qū)嶋H領(lǐng)域.作者在該系統(tǒng)模型中同時表達(dá)了文檔、領(lǐng)域和用戶三種信息描述模型.文檔是信息處理的對象,文檔模型的建立是特征提取、文檔過濾等智能信息處理的基礎(chǔ);利用主題概念及其關(guān)鍵詞表達(dá)領(lǐng)域模型,使得信息服務(wù)突出了面向領(lǐng)域的特征,可以更好地實現(xiàn)信息服務(wù)的個性化、智能化;用戶模型則體現(xiàn)用戶的興趣和意圖,用于用戶興趣的表達(dá)和挖掘.其次,在信息搜索Agent中,作者研究了文本特征選取和特征匹配問題.系統(tǒng)首先對領(lǐng)域訓(xùn)練樣本進(jìn)行學(xué)習(xí),利用領(lǐng)域詞典

3、對訓(xùn)練文本進(jìn)行詞條切分和詞頻統(tǒng)計,并根據(jù)詞頻分布,提取代表采集目標(biāo)的特征項集和相應(yīng)的權(quán)重,生成特征矢量,形成初始領(lǐng)域模型和用戶模型.然后,由搜集、監(jiān)測Agent根據(jù)領(lǐng)域模型在Internet上搜集文檔和信息.分析、過濾Agent對所搜集到的網(wǎng)頁進(jìn)行分析,抽取文檔特征,形成文檔的結(jié)構(gòu)化表示.再次,作者研究了基于內(nèi)容和基于社會相結(jié)合的文檔推薦方法.基于內(nèi)容的推薦方法中,選擇、推薦Agent通過比較結(jié)構(gòu)化的文檔屬性與用戶模型,尋找相似度最大的

4、用戶,并將其選擇的文檔推薦給用戶;而采用社會的方法中,用戶可以主動向系統(tǒng)提供其自行收集到的URL或其他文檔,選擇、推薦Agent通過比較用戶間的相似性,從而可向相似用戶推薦相應(yīng)URL或其他文檔.第四,作者研究了學(xué)習(xí)Agent使用強化學(xué)習(xí)、遺傳算法自適應(yīng)地調(diào)整領(lǐng)域模型和用戶模型.學(xué)習(xí)Agent的學(xué)習(xí)過程,既是用戶相關(guān)性反饋過程,也是用戶興趣挖掘過程.系統(tǒng)通過記錄用戶瀏覽行為、獲取用戶對文檔的反饋,以及從網(wǎng)上搜集到的文檔作為學(xué)習(xí)的"原始強化