主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì).pdf

1、隨著網(wǎng)絡(luò)資源的急劇增長，在龐大的網(wǎng)絡(luò)上，快、準(zhǔn)、全地找到相關(guān)信息，變得越來越困難。此時(shí)，搜索引擎應(yīng)運(yùn)而生。搜索引擎是人們從網(wǎng)上查找信息最方便快捷的方式，也因此超過E-mail等常見web服務(wù)，成為用戶使用量最多的服務(wù)。通用搜素引擎，面向所有的web信息檢索者，由于龐大的網(wǎng)絡(luò)信息規(guī)模和高速響應(yīng)要求，使其檢索結(jié)果的相關(guān)性不盡人意。主題搜索引擎，是為進(jìn)一步提高相關(guān)性而發(fā)展起來的新一代搜索引擎。本文的研究對象是主題搜索引擎中的主題爬蟲。首先概述

2、了搜索引擎的發(fā)展概況和網(wǎng)絡(luò)爬蟲研究現(xiàn)狀，分析了集中式主題網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)，將其分成5個(gè)組成部分：數(shù)據(jù)存儲、下載模塊、網(wǎng)頁預(yù)處理、網(wǎng)頁分類和鏈接分析，并闡述了各部分的功能。具體工作如下： (1)在搜索策略中，結(jié)合內(nèi)容分析和鏈接分析，利用URL字符串、錨文本、父頁面和兄弟頁面等啟發(fā)信息，設(shè)計(jì)出一種鏈接評分方法。 (2)網(wǎng)頁預(yù)處理過程，包括分詞、HTML解釋和網(wǎng)頁消噪。在對樹節(jié)點(diǎn)進(jìn)行裁剪的基礎(chǔ)上，設(shè)計(jì)了基于樣式的網(wǎng)頁消噪方法