主題搜索引擎中的多Agent爬行策略研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、人工智能以及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，計(jì)算機(jī)快速轉(zhuǎn)向開(kāi)放的、網(wǎng)絡(luò)平臺(tái)的、協(xié)同工作方式，在這十多年來(lái)，源于分布式人工智能（DistributedArtificial Intelligence，DAI）的智能Agent以及多Agent（Multi-Agent System，MAS）系統(tǒng)已經(jīng)成為了人工智能研究的熱點(diǎn)。智能Agent以及MAS的出現(xiàn)為分布式系統(tǒng)的綜合、分析、實(shí)現(xiàn)和應(yīng)用開(kāi)辟了一條新的路徑，進(jìn)一步促進(jìn)了人工智能和軟件

2、工程的發(fā)展。
　　 當(dāng)前，智能Agent技術(shù)已經(jīng)被廣泛的應(yīng)用到了電子商務(wù)、航空控制、工作流管理、交通系統(tǒng)以及信息檢索等眾多領(lǐng)域。而本文主要研究的是智能Agent在主題信息檢索引擎中的相關(guān)問(wèn)題。
　　 主題搜索引擎利用智能Agent在網(wǎng)絡(luò)上進(jìn)行有目的有選擇性的爬行，相對(duì)于通用搜索引擎，它有效的減少了檢索頁(yè)面的數(shù)量，增加了檢索頁(yè)面的規(guī)整程度，并能深入剖析用戶感興趣的主題，返回大量高質(zhì)量用戶相關(guān)信息，因此成為了研究的熱點(diǎn)。然而

3、在主題搜索領(lǐng)域，大多數(shù)研究者們均專注于Agent的自治，即單個(gè)Agent在網(wǎng)絡(luò)上爬行時(shí)如何進(jìn)行方向選擇，卻忽略了多個(gè)Agent之間的協(xié)調(diào)問(wèn)題。因此，本文的研究重點(diǎn)是將主題搜索引擎中智能Agent的社會(huì)性與智能型相結(jié)合，換句話說(shuō)，本文主要研究的是主題搜索引擎中的多個(gè)Agent在網(wǎng)上爬行時(shí)如何共享資源及相互協(xié)調(diào)的問(wèn)題。
　　 在本文中，提出一種新的網(wǎng)頁(yè)檢索方法。本方法主要基于合同網(wǎng)協(xié)議、蟻群思想，實(shí)現(xiàn)Agent的智能性、合作性，從而

4、提高重要網(wǎng)頁(yè)的刷新頻率和網(wǎng)頁(yè)召回率。根據(jù)合同網(wǎng)協(xié)議，主題搜索引擎中的智能Agent被分成了三類：Manager、Contractor以及N-Agent。Manager和Contractor是定立合同的雙方，N-Agent是未定立合同的Agent。Contractor負(fù)責(zé)在網(wǎng)絡(luò)上檢索到與主題相關(guān)的網(wǎng)頁(yè)，不承擔(dān)自身的支出：Manager不僅要檢索網(wǎng)頁(yè)，還負(fù)責(zé)監(jiān)控任務(wù)執(zhí)行并負(fù)擔(dān)Contractor的支出；N-Agent檢索網(wǎng)頁(yè)，只承擔(dān)自身支出

5、。根據(jù)蟻群算法的思想，給網(wǎng)頁(yè)賦予兩種屬性：“食物信息素”和“訪問(wèn)信息素”。具有較高相關(guān)度的網(wǎng)頁(yè)具有較高的“食物信息素”，經(jīng)常被訪問(wèn)的網(wǎng)頁(yè)具有較高的“訪問(wèn)信息素”。Agent通過(guò)共享“食物信息素”、“訪問(wèn)信息素”的信息以及對(duì)錨文本的分析，實(shí)現(xiàn)本文提出的新的鏈接選取方法。最后通過(guò)相關(guān)實(shí)驗(yàn)對(duì)比，進(jìn)一步說(shuō)明了此智能Agent的優(yōu)缺點(diǎn)，并得出了結(jié)論：在主題搜索引擎中，Agent采用合同網(wǎng)協(xié)議的協(xié)商方法能夠提高工作效率，通過(guò)信息共享方式選擇路徑能夠