基于Web挖掘的主題搜索引擎網(wǎng)頁抓取策略的研究.pdf

1、因特網(wǎng)的快速發(fā)展帶動(dòng)了時(shí)代的變遷。Web資源中蘊(yùn)含著大量有價(jià)值的信息，作為一種新的資源，已經(jīng)變得越來越重要。Web挖掘研究的主要任務(wù)就是如何從這么多的Web信息中高效地獲取所需知識(shí)。然而，傳統(tǒng)的通用搜索引擎對(duì)整個(gè)互聯(lián)網(wǎng)缺乏針對(duì)性，搜索會(huì)造成大量無關(guān)的鏈接和信息，使得所得的結(jié)果效用低下。在這種情況下，面向特定領(lǐng)域的主題搜索引擎便應(yīng)運(yùn)而生，它很好地解決了通用搜索引擎存在的弊端，其核心就是主題網(wǎng)頁抓取技術(shù)。對(duì)于該技術(shù)的研究已經(jīng)成為了當(dāng)前的熱點(diǎn)

2、和發(fā)展趨勢(shì)。
　　本文首先簡(jiǎn)單介紹了Web挖掘技術(shù)和搜索引擎技術(shù)的研究背景及國(guó)內(nèi)外發(fā)展現(xiàn)狀，分析了兩者之間存在的共同點(diǎn)，并為這兩者技術(shù)上的相互結(jié)合做了一定的可行性分析。然后介紹了主題搜索引擎的發(fā)展?fàn)顩r和重要作用，并主要以主題搜索引擎的主題網(wǎng)頁抓取策略作為研究?jī)?nèi)容，把提高主題網(wǎng)頁抓取的查全率和查準(zhǔn)率作為出發(fā)點(diǎn)，詳細(xì)分析了現(xiàn)有的主題網(wǎng)頁抓取方法及其優(yōu)缺點(diǎn)。接著從主題搜索爬蟲的Best-First搜索算法中所存在的缺點(diǎn)著手，結(jié)合非貪婪策