面向主題的網絡爬行器相關技術研究.pdf

1、隨著互連網的迅猛發(fā)展，越來越豐富的信息展現在人們面前，但是面對海量的互聯網資源，人們感興趣的往往只是某一領域的專門信息。如何從紛繁蕪雜的網絡信息中快速準確地找到人們希望的信息，是一個意義巨大的問題。1994年開始出現的基于Web的網絡爬行器自然而然地成為人們的希望所在，雖然通用網絡爬行器已經給人們提供了極大的便利，但是由于它的綜合性，不具備面向專業(yè)的特點，所以在準確性和速度等方面存在不足；為了提高信息服務的質量，人們開始研究面向主題的網

2、絡爬行器。
　　本文主要研究面向主題網絡爬行器的兩個方面的問題，一是如何充分定義這里的主題，二是如何有效的排序爬行器的待下載鏈接隊列中的鏈接，來使得只需訪問很少的不相關的頁面，就能夠得到很多的相關的頁面的鏈接。本文結合網頁的半結構化信息特征，提出了一種新的基于內容的爬行策略，實驗結果顯示這是一種尋找主題相關頁面很有效的方法。
　　Blog作為一種新興的互聯網現象，正在被越來越多的人所關注，本文把Blog作為一種特殊的“主題”

3、，設計并實現了一個面向Blog的網絡爬行器。
　　隨著互聯網的爆炸性增長，Web已經發(fā)展成為站點遍布全球的巨大信息服務網絡。就目前互聯網的規(guī)模來說，單機版的網絡爬行器已無法在一個有效的時間范圍內完成一次搜集整個Web的任務。分布式網絡爬行器采用多機并行工作，提高整個系統的工作效率，并具有良好的可擴展性，是必然的發(fā)展趨勢。
　　本文在分布式設計中，主要考慮了節(jié)點內部多個線程的并行和節(jié)點之間的分布式并行。并重點討論了節(jié)點之間的分