基于領(lǐng)域的網(wǎng)絡(luò)爬蟲技術(shù)的研究與實現(xiàn).pdf

1、隨著Web信息爆炸式的增長，如何有效的在Web中獲取有用的信息已變得及其困難。搜索引擎在信息檢索中扮演著重要的作用，已經(jīng)為人們在日常生活中進行信息檢索不可缺少的工具。Yahoo、Google、MSN、百度等商業(yè)搜索引擎正是眾多通用搜索引擎中最成功的典范，但隨著網(wǎng)絡(luò)變得越來越復(fù)雜，這些通用的搜索引擎也有時會在信息領(lǐng)航中也會迷失方向。然而，最近幾年對各種搜索技術(shù)的研究方興未艾，基于P2P技術(shù)的流媒體搜索、元搜索技術(shù)、垂直搜索技術(shù)等都成為了搜

2、索領(lǐng)域研究的熱點。 本文對主題相關(guān)的網(wǎng)絡(luò)爬蟲進行研究。深入分析了一個大規(guī)模的搜索引擎，細述了其工作原理，常用的幾種搜索策略，并分析了其優(yōu)劣點，隨后從兩個方面分析了WEB爬蟲的技術(shù)實現(xiàn)困境：一是通用搜索引擎需要解決的技術(shù)問題，二是通用搜索引擎存在的局限性。接著給出了主題相關(guān)的網(wǎng)絡(luò)爬蟲的實現(xiàn)框圖?？紤]到如何克服高度并發(fā)、以及對網(wǎng)絡(luò)帶寬的占用問題，提出了設(shè)計一個DNS解析器，以便于有效的利用網(wǎng)絡(luò)帶寬，減少網(wǎng)絡(luò)傳輸延時；為了高效的對頁面

3、進行抓取，保證在進行并行抓取時，各進程間通信的問題，讓各個組件之間高效的工作，在設(shè)計中引入了非阻塞套接字技術(shù)。URL的調(diào)度技術(shù)在網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計中起著關(guān)鍵的作用，提出了基于概率模型的啟發(fā)示度量規(guī)則，讓我們的網(wǎng)絡(luò)系統(tǒng)有著更加智能的路由功能，以便于始終可以向著用戶設(shè)定的主題進行頁面獲取。在給出了基于概率模型的啟發(fā)示度量規(guī)則后，更進一步的提出了基于最佳優(yōu)先搜索的隧道技術(shù)，用于克服對某個主題在進行抓取多次后，若偏離了原先的主題，可以讓其迅速停