主題爬蟲(chóng)搜索Web頁(yè)面策略的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，通用爬蟲(chóng)在浩瀚如海的網(wǎng)絡(luò)世界里，對(duì)高效提取有效網(wǎng)頁(yè)信息顯得越來(lái)越力不從心。而主題爬蟲(chóng)是解決通用搜索引擎可擴(kuò)展性限制的有效方法。它可以指導(dǎo)抓取URL鏈接，并有效的析取與目標(biāo)網(wǎng)頁(yè)相關(guān)度高的網(wǎng)頁(yè)內(nèi)容。本文通過(guò)制定框架，并以一些性能指標(biāo)為依據(jù)來(lái)評(píng)價(jià)主題爬蟲(chóng)算法，并結(jié)合分析研究以及開(kāi)發(fā)之間的偏差可以得到它的最優(yōu)性能。本文分析了各種不同類型的爬蟲(chóng)算法，并討論他們的性能表現(xiàn)。 本文中提出了一種基于分層馬爾科夫模型來(lái)區(qū)別網(wǎng)

2、站和網(wǎng)頁(yè)文本之間的傳輸方法?；谶@一模型提出了兩種不同的方法計(jì)算網(wǎng)站排名，一個(gè)是集中式的，一個(gè)是分散式的。這兩種方法都根據(jù)Web圖來(lái)得到網(wǎng)站排名。這兩種方法作用是相同的，但是改進(jìn)的算法需要為搜索引擎的建立端到端的架構(gòu)，這一架構(gòu)為基于鏈接的排名計(jì)算提供了理論基礎(chǔ)，并使計(jì)算分散性的網(wǎng)絡(luò)規(guī)模圖成為可行。此外，網(wǎng)站排名可以在本地或者整個(gè)網(wǎng)絡(luò)中進(jìn)行計(jì)算。通過(guò)修改Lucene和Heritrix開(kāi)源組件建立主題搜索引擎，實(shí)證結(jié)果表明，使用這個(gè)模型產(chǎn)生