新聞搜索引擎系統(tǒng)中的網(wǎng)絡(luò)機(jī)器人技術(shù).pdf

1、Internet上的信息龐雜且分散,而搜索引擎系統(tǒng)則與人們的網(wǎng)絡(luò)生活關(guān)系越來越密切.搜索引擎是一些站點中提供的將Internet上網(wǎng)站和網(wǎng)頁的信息進(jìn)行收集、整理和組織從而幫助用戶找到所需信息的服務(wù).搜索引擎通過網(wǎng)絡(luò)搜索軟件(又稱為網(wǎng)絡(luò)搜索機(jī)器人Web Robots)或網(wǎng)站登錄等方式,將Internet上大量網(wǎng)站的頁面收集到本地,經(jīng)過加工處理而建成數(shù)據(jù)庫,當(dāng)用戶輸入關(guān)鍵字(Keyword)查詢時,該網(wǎng)站會告訴用戶包含該關(guān)鍵字信息的所有網(wǎng)址

2、,并提供通向該網(wǎng)站的鏈接.新聞搜索引擎是搜索引擎的一種.它通過實時的獲取互聯(lián)網(wǎng)隨進(jìn)發(fā)布的新聞,對獲取來的信息進(jìn)行綜合處理,提供給互聯(lián)網(wǎng)上的用戶進(jìn)行新聞的實時搜索,所以也是普通網(wǎng)頁搜索引擎的一個不可替代的補(bǔ)充.目前國內(nèi)在達(dá)到用戶需求的新聞搜索引擎方面存在一定的空缺.文中對搜索引擎理論和技術(shù)進(jìn)行概述,對網(wǎng)絡(luò)機(jī)器人的實現(xiàn),HTML文檔的掃描分析,文檔的發(fā)現(xiàn)算法等技術(shù)作了研究,并在此基礎(chǔ)上實現(xiàn)了適合新聞搜索引擎系統(tǒng)使用的網(wǎng)絡(luò)機(jī)器人.目前,該網(wǎng)絡(luò)