一種改進Best-First算法的主題爬蟲搜索算法研究.pdf

1、飛速發(fā)展的互聯(lián)網(wǎng)帶來了海量的信息資源，用戶能否從中有效地獲取自己感興趣的資源很大程度上取決于搜索引擎的性能。在面對用戶強烈的個性化需求時，通用搜索引擎難以為其提供滿意的結(jié)果。為了打破通用搜索引擎的這一局限性，研究具有專業(yè)特點的智能化搜索引擎成為一種趨勢，因而順理成章的誕生了垂直搜索引擎。垂直搜索引擎中的主題爬蟲猶如人的心臟一樣，起著非常基礎(chǔ)與關(guān)鍵的作用。主題爬蟲按照用戶給定的目標(biāo)主題，智能化的搜索Web，快速、準(zhǔn)確地提取出主題相關(guān)頁面，

2、滿足用戶所需。研究高效的主題爬蟲對于提高垂直搜索引擎的性能有著非常重要的作用。
　　本文主要從以下三個方面展開所要研究的內(nèi)容：
　　首先，本文對網(wǎng)絡(luò)爬蟲的基本原理進行了介紹，然后分析了主題爬蟲的工作流程，之后討論了關(guān)于主題的描述方法，接著重點分析了網(wǎng)頁預(yù)處理技術(shù)，包括HTML標(biāo)簽、網(wǎng)頁標(biāo)題和正文內(nèi)容的提取、錨文本的提取以及中文分詞技術(shù)，為后文主題相關(guān)性計算奠定了堅實的基礎(chǔ)。
　　其次，分析了基于頁面內(nèi)容評價的Best-

3、First算法，針對向量空間模型中權(quán)重計算方法，只考慮特征詞的詞頻，忽略了特征詞的位置信息這一不足，本文提出利用HTML標(biāo)簽的修飾功能，采用加權(quán)頻率來計算權(quán)重，提高主題相關(guān)性判斷的準(zhǔn)確率。另外，討論了Best-First算法的貪婪性，針對Best-First算法難以獲得全局范圍內(nèi)最優(yōu)解的局限性，本文對主題爬蟲的搜索策略做了一點改進，提出不僅注重搜索與主題相似度很高的鏈接，同時還考慮某些蘊涵很大遠(yuǎn)期價值的鏈接，從而使得主題爬蟲能在一定程度