主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究.pdf

1、隨著Web上多元化信息的增長，傳統(tǒng)的搜索引擎，即通用搜索引擎已經(jīng)不能滿足人們對個性化信息檢索服務(wù)日益增長的需要。近年來，面向主題的搜索引擎應(yīng)運而生，以提供分類更細致精確、數(shù)據(jù)更全面深入、更新更及時的因特網(wǎng)搜索服務(wù)。 在主題搜索引擎中，網(wǎng)絡(luò)蜘蛛以何種搜索策略訪問Web，以提高效率，是近年來主題搜索引擎研究中的熱點問題之一。而Web的動態(tài)性、異構(gòu)性和復(fù)雜性要求網(wǎng)絡(luò)蜘蛛能夠高效率地實現(xiàn)Web信息提取，以保證信息的實時性和有效性。

2、 該文對主題搜索引擎中的網(wǎng)絡(luò)蜘蛛搜索策略進行了詳細的分析，在深入分析主題頁面在Web上的分布特征與主題相關(guān)性判別算法的基礎(chǔ)上，提出了一個面向主題搜索的網(wǎng)絡(luò)蜘蛛模型，對模型的組織結(jié)構(gòu)進行了詳細闡述。 作為主題網(wǎng)絡(luò)蜘蛛搜索策略的核心部分，主題相關(guān)性判斷算法是網(wǎng)絡(luò)蜘蛛能夠圍繞設(shè)定主題進行聚焦檢索的關(guān)鍵。在URL的主題相關(guān)性判別過程中，引入了鏈接文本及相關(guān)鏈接屬性分析，提出了一種新穎的URL主題相關(guān)性剪枝算法-EPR算法。而對于網(wǎng)頁的