基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲(chóng)算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著全球信息化的進(jìn)程逐漸加快,網(wǎng)絡(luò)信息量的爆炸式增長(zhǎng)，人們查找信息越來(lái)越難。 Web 搜索引擎的出現(xiàn)在一定程度上解決了這種矛盾。然而現(xiàn)行的大型通用搜索引擎無(wú)法根據(jù)用戶所指定的主題進(jìn)行針對(duì)性的搜索，主題搜索引擎應(yīng)運(yùn)而生。主題搜索引擎主要針對(duì)某一特定領(lǐng)域、某一特定主題或某一特定人群，提供內(nèi)容集中而深入的信息與服務(wù)。主題網(wǎng)絡(luò)爬蟲(chóng)作為主題搜索引擎的重要組成部分,它的好壞直接關(guān)系到所搜索到資源的質(zhì)量，因此如何設(shè)計(jì)一個(gè)高質(zhì)量的主題網(wǎng)絡(luò)爬蟲(chóng)就

2、成為了主題搜索引擎研究的一個(gè)重要課題。 通用搜索引擎設(shè)計(jì)的目的是在網(wǎng)絡(luò)上搜索盡可能多的高質(zhì)量網(wǎng)頁(yè)，然而Web 信息容量的巨大使得網(wǎng)絡(luò)爬蟲(chóng)不可能提取所有的Web頁(yè)面，即使能夠全部提取，也沒(méi)有足夠大的空間來(lái)存放。通用網(wǎng)絡(luò)爬蟲(chóng)的信息采集方式是盲目的，通常使用寬度優(yōu)先搜索，深度優(yōu)先搜索和有限深度的寬度搜索三種策略。主題搜索引擎與通用搜索引擎不同，它的設(shè)計(jì)目標(biāo)是盡可能多的搜索與主題相關(guān)的網(wǎng)頁(yè)，盡可能少的搜索與主題無(wú)關(guān)的內(nèi)容，提高采集主題資

3、源的效率。主題網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)的關(guān)鍵是如何將待爬行的URL按照某種策略進(jìn)行排序，使得與主題相關(guān)的、質(zhì)量高的URL優(yōu)先爬行，爬行的過(guò)程逐漸向主題領(lǐng)域聚焦。 論文首先分析了主題搜索引擎與通用搜索引擎體系結(jié)構(gòu)的異同,主題搜索引擎的信息采集策略，即主題網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)方式。目前比較有代表性的主題搜索策略如：基于啟發(fā)式搜索算法和基于文本分類的搜索算法。論文通過(guò)分析各種搜索算法的優(yōu)缺點(diǎn)，進(jìn)行整合和改進(jìn)，設(shè)計(jì)出一個(gè)基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲(chóng)。

4、在主題表示中利用向量空間模型提取主題關(guān)鍵詞的算法，并且根據(jù)反比文檔頻率計(jì)算出關(guān)鍵詞的權(quán)重。在預(yù)測(cè)鏈接價(jià)值的算法中，采用啟發(fā)式搜索算法，即先通過(guò)在線獲得的領(lǐng)域知識(shí)評(píng)價(jià)待訪問(wèn)鏈接的價(jià)值，借以推斷信息資源的分布情況，然后按一定的原則選擇價(jià)值最大的鏈接進(jìn)行下一步的搜索，找到到達(dá)目標(biāo)節(jié)點(diǎn)的最佳路徑，刪除不好的節(jié)點(diǎn)，保留那些好的節(jié)點(diǎn)。 論文設(shè)計(jì)了一個(gè)基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲(chóng)，對(duì)其執(zhí)行流程給出了精確的算法描述，提出了若干關(guān)鍵算法的解決