人工智能在搜索引擎資源獲取中的應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)上的信息資源成幾何規(guī)律增加。越來越多的信息給人們帶來方便的同時(shí)也增加了信息查找的難度。搜索引擎也隨之應(yīng)運(yùn)而生。依靠搜索引擎，用戶能夠方便地查找需要的信息。搜索引擎一個(gè)重要部分是網(wǎng)絡(luò)爬蟲程序，依靠網(wǎng)絡(luò)爬蟲，搜索引擎可以獲取用來檢索的原材料信息。 傳統(tǒng)的搜索引擎資源獲取部分使用的是盲目式的遍歷算法，即對(duì)所獲得的鏈接進(jìn)行遍歷，抽取相關(guān)信息保存數(shù)據(jù)庫中供搜索引擎檢索調(diào)用。這種方法存在不少問題。使用這種方法，會(huì)導(dǎo)

2、致垃圾數(shù)據(jù)的大量積累，對(duì)于某些獲取的數(shù)據(jù)，可能從來不被檢索訪問。除此之外，由于遍歷了大量無關(guān)的鏈接，會(huì)導(dǎo)致系統(tǒng)負(fù)擔(dān)的增加，效率的低下。 在本文中，提出使用人工智能中的啟發(fā)式搜索來獲取特定的信息，這樣可以極大地減少遍歷的鏈接數(shù)量，使被訪問到的鏈接盡量地指向有用的信息。減少了無關(guān)鏈接的訪問數(shù)量，就能極大地提高相對(duì)回報(bào)率，從而提高了系統(tǒng)的效率。 另外，在頁面類型的判斷中，本文引入了一個(gè)智能代理系統(tǒng)，完成網(wǎng)頁類型的自動(dòng)分類判斷。